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云 计算 概念 诞生 至 今 已 发 展 了 约 八 年 的 时 间 。 这 八 年 来 ， 相 比 云 计算 诞 
生 初 期 ， 云 计算 技术 条 件 、 行 业 和 市 场 环 境 均 发 生 了 巨大 变化 ， 广 大 读 
I 阶段 。 


本 书 以 云 计算 架构 技术 为 核心 ， 从 讨论 云 计算 发 展 为 起 点 ， 围 绕 云 计算 
架构 涉及 的 核心 技术 与 商业 实践 进行 展开 。 论 及 的 核心 技术 包括 计算 、 
存储 、 网 络 、 数 据 、 管 理 、 接 入 、 安 全 等 ， 涵 盖 了 云 计算 的 最 新 趋势 、 
原理 、 特 性 与 实践 。 


本 书 适 用 于 企业 IT 部 门 首席 信息 官 、IT 主 管 、IT 技 术 工 程 师 、 技 术 类 人 
员 、IT 技 术 公 司 员 工 、 互 联网 公司 员工 、 教 育 机 构 师 生 等 。 

















作 省 简 a 
顾 和 类 


华为 公司 云 计 算 首 席 架 构 师 ， 主 导 完 成 华为 公司 云 计算 操作 系统 
(CEFusionCube) 和 融合 基础 设施 〈FusionCube) 的 技术 规划 与 架构 设 
计 ， 支 撑 华 为 公司 的 ICT 战 略 转 型 、 云 计算 数据 中 心 及 电信 云 化 解决 方 
案 ， 完 成 浙江 移动 、 上 海 联 通 、 上 海 健 康 云 、 新 加 坡 StarHub、 华 为 桌 
面 云 及 数据 仓库 等 数 百 个 云 计 算 项 目的 商用 落地 。 曾 任 华 为 公司 融合 
IMS 解 决 方案 首席 架构 师 、 华 为 公司 移动 软 交 换 产品 首席 架构 师 ， 拥 有 
己 获 授权 并 发 布 的 个 人 专利 30 多 项 。 
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早 在 三 千 多 年 前 ，《 易 经 》 出 现时 ， 人 类 便 用 朴实 的 哲学 思想 揭示 了 一 
个 变化 的 世界 。 变 化 无 所 不 在 ， 体 现在 政治 、 经 济 、 社 会 、 科 学 等 方 方 
面 面 。 其 中 科学 技术 的 发 展 变化 ， 是 这 几 个 领域 中 最 能 被 人 们 感同身受 
的 。 在 科学 技术 领域 ， 开 技术 成 为 科技 发 展 变化 的 急 先 锋 。IT 领 域 

的 “ 云 计 算 ” 在 2007 年 还 是 一 个 未 知 的 概念 ， 到 2014 年 “ 云 计 算 ” 不 仅 家 喻 
户 晓 ， 而 且 在 基于 云 计算 的 平台 上 创造 了 一 个 又 一 个 发 展 速度 的 新 记 
录 : 一 款 在 云 平 台 上 的 游戏 ， 可 以 在 几 个 月 发 展 数 干 万 用 户 ; 云 平 台 文 
撑 的 电子 商务 ，1 秒 钟 可 以 完成 数 万 笔 交 易 。 目 前 这 种 IT 云 计 算 领 域 的 
发 展 变化 模式 不 再 局 限于 令 人 频 目 的 数字 ， 而 开始 向 传统 行业 乃至 国家 
整体 经 济 与 社会 领域 进行 快速 渗透 。 我 们 相信 ， 在 不 久 的 将 来 ， 全 球 的 
经 济 、 社 会 与 科学 的 面貌 在 云 计算 技术 、 服 务 与 理念 的 推动 下 会 焕然 一 
新 。 这 就 是 我 们 过 去 十 几 年 各 说 的 “信息 技术 革命 ”， 在 我 们 眼前 正在 发 
生 、 发 展 和 不 断 演变 着 。 


“ 云 计算 ”这 个 名 词 虽然 已 经 家 喻 户 晓 ， 而 且 业 内 基本 认可 美国 国家 标准 
与 技术 研究 院 〈NIST) 对 云 计算 的 概念 定义 ， 但 人 们 对 云 计算 的 理解 至 
今 不 同 。 守 其 根 因 ， 一 方面 是 云 计算 的 技术 、 服 务 模式 和 理念 在 不 断 演 
进 和 发 展 变化 ， 另 一 方面 ， 云 计算 的 宣传 推广 主体 ， 出 于 商业 或 理念 的 
差异 而 对 云 计算 的 内 涵 进 行 了 不 同方 辐 的 强化 和 引申 。 人 们 对 云 计 算 的 
不 同 理 解 ， 势 必 引 发 概念 定义 上 的 争议， 但 一 个 不 争 的 共识 是 ， 云 计算 
己 经 落地 生根 ， 并 快速 地 发 展 壮大 , “ 像 用 电 一 样 使 用 信息 服务 ?的 云 计 
算 理想 虽然 还 未 完全 实现 ， 但 距离 这 个 目标 已 经 越 来 越 近 。 我 们 每 个 人 
对 云 计算 的 发 展 阶段 可 能 有 不 同 的 理解 和 划分 ， 这 很 正常 也 很 有 益 ， 因 
为 多 样 化 的 观点 碰撞 是 创新 灵感 的 源 录 。 本 书 也 将 “ 云 计 算 ” 的 技术 内 池 
进行 了 更 大 范围 的 发 展 和 延伸 。 这 让 我 联想 到 互联 网 行业 正在 发 生 的 变 
化 ， 早 期 的 互联 网 公司 仅仅 开发 与 其 直接 相关 的 Web 网 站 ， 但 现 如 今 ， 

大 型 互联 网 公司 所 做 的 产品 与 业务 早已 远 远 地 超出 当初 的 范畴 ， 不 仅 在 
看 似 简 单 的 Web 网 站 下 面 搭建 了 一 个 庞大 的 数据 人 处理 与 分 析 平 台 ， 而 且 
文 撑 其 网 站 的 服务 器 、 存 储 、 网 络 乃 至 数据 中 心 。 这 些 人 硬件 产品 均 由 互 
联网 公司 自己 研发 与 设计 ， 领 先 的 互联 网 公司 做 的 产品 还 远 不 止 这 些 ， 
Google 推 出 了 手机 操作 系统 、 眼 错 ， 并 致力 于 开发 、 完 普 无 人 驾驶 汽 

车 ;亚马逊 开发 无 人 飞机 用 于 物流 投递 ，Facebook 在 虚拟 现实 领域 进行 
了 高 额 投 入 ; 国内 的 阿里 巴巴 、 腾 讯 等 公司 在 开发 各 种 金融 类 创新 产 

品 。 针 对 这 些 巨 大 的 变化 ， 在 没有 更 好 的 名 称 之 前 ， 我 们 依然 要 称呼 它 












































们 是 互联 网 公司 ， 我 们 只 能 说 当今 互联 网 的 含义 比 10 年 前 的 互联 网 更 加 
宽泛 。“ 云 计算 ”也 是 如 此 。 在 IT 领 域 ， 基 本 上 每 3~5 年 便 会 进行 一 次 产 
品 技术 的 更 新 换代 ， 云 计算 经 过 多 年 发 展 ， 无 论 在 技术 深度 还 是 在 技术 
广度 上 均 会 有 显著 延展 。 通 过 阅读 此 书 ， 可 以 明显 感受 到 云 计 算 技术 这 
3 


云 计算 不 仅 对 企业 和 电信 的 发 展 有 重大 的 推动 作用 ， 对 教育 科研 领域 也 
有 深远 的 影响 。“ 云 计算 ”是 由 企业 提出 的 概念 ， 并 一 直 由 企业 主导 “ 云 
计算 ”技术 的 研发 、 推 广 与 应 用 。 云 计算 所 支撑 的 大 数据 概念 与 技术 的 
出 现 ， 企 业主 导 ， 特 别 是 互联 网 企业 主导 技术 发 展 的 趋势 更 加 明显 。 企 
业 之 所 以 能 够 主导 云 计算 与 大 数据 技术 的 发 展 ， 原 因 可 能 来 自 三 个 方 
面 : 一 是 企业 拥有 雄厚 的 资金 ， 二 是 云 计算 技术 与 企业 应 用 及 市 场 需求 
呈现 出 了 紧 耦 合 的 发 展 ; 三 是 企业 (特别 是 互联 网 企业 ) 拥有 足 量 的 数 
据 资 源 和 计算 资源 。 企 业主 导 同 时 意味 着 在 云 计算 与 大 数据 领域 传统 的 
先 有 理论 后 有 应 用 的 模式 基本 不 再 适用 ， 即 大 学 科研 机 构 负 责 理论 (学 
术 ) 创新 ， 企 业 负 责 应 用 创新 (工程 实践 ) 的 分工 模式 。 大 学 教育 科研 
机 构 ， 特 别 是 信息 技术 学 科 ， 需 要 调整 自身 角色 来 适应 这 一 趋势 的 发 
展 。 云 计算 领域 提供 了 非常 丰富 的 开源 环境 ， 比 如 OpenStack、 
Hadoop、Xen、KVM 等 ， 互 联网 同时 提供 了 数量 庞大 的 信息 技术 文章 ， 
云 计算 三 商会 提供 免费 或 低 价 的 试用 软件 或 云 计 算 环 境 ， 再 加 上 不 断 出 
版 更 新 的 信息 技术 类 书籍 ， 这 些 资源 构成 了 一 个 开放 且 实 时 更 新 的 教学 
力 至 实验 环境 ， 可 以 供 广大 学 生 学 习 和 实践 使 用 。 未 来 大 学 对 学 生 的 培 
养 工作 可 能 集中 在 4 个 方面 : 方 同 性 的 指导 ， 综 合 技能 的 认证 ， 给 学 生 
提供 专心 学 习 交 流 的 环境 ， 为 学 生 搭 建 创 新 的 平台 。 大 学 的 信息 技术 类 
学 科 的 科研 机 构 ， 需 要 与 企业 和 市 场 更 加 紧密 地 结合 ， 双 方 共 享 数据 ， 
共享 研发 测试 环境 ， 专 利 交 义 共 享 ， 项 目 收益 共享 。 大 学 科研 机 构 可 侧 
重 承 担 企业 偏远 期 的 云 计算 与 大 数据 技术 的 开发 ， 企 业 侧 重 承 担 近 期 应 
用 技术 的 开发 ， 双 方 的 界限 会 很 模糊 。 在 云 计 算 时 代 ， 年 龄 、 资 历 和 职 
称 都 不 再 是 科研 创新 的 门槛 ， 大 学 生 可 以 广泛 参与 和 承担 云 平 台 类 产品 
应 用 开发 ， 学 生 的 自主 创新 成 果 【( 同 时 参照 产品 受 市 场 欢迎 的 程度 ) 将 
是 个 人 能 力 认证 的 一 个 重要 依据 。 


希望 本 书 的 所 有 读者 ， 在 了 解 云 计算 技术 的 同时 ， 都 能 够 积极 地 投身 到 
云 计算 产业 实践 中 来 。 只 有 更 多 的 人 认识 到 云 计算 的 价值 ， 才 能 挖掘 出 
更 多 云 计算 的 价值 ， 云 计算 产业 才 会 有 源源 不 断 的 动力 来 园艺 发 展 。 相 
信 各 位 读者 中 的 很 多 人 都 将 成 为 云 计算 产业 的 中 坚 力量 。 
























































李 德 煞 


中 国 工 程 院 院 士 ， 国 际 欧 亚 科 学 院 院 士 


合作 创新 ， 云 以 致 用 


云 计算 从 概念 到 大 规模 实践 ， 短 短 数 年 间 迅 狐 发 展 。 它 与 诸多 行业 深度 
融合 ， 带 来 了 征 履 性 的 创新 ， 吓 显 出 巨大 的 应 用 价值 和 发 展 前 景 。 读 到 
华为 公司 云 计 算 肖 席 架 构 师 顾 炯 炯 新 闭 《 云 计算 架构 技术 与 实践 》， 我 
倍 感 兴奋 。 著 作 概 括 了 华为 的 云 计算 构想 ， 表 明 华 为 云 计算 布局 已 走 在 
行业 的 前 列 ， 也 预示 着 英特尔 和 华为 在 云 计算 方面 的 合作 将 更 加 密切 。 


随 着 计算 的 延伸 与 扩展 、 移 动 互联 网 的 友 展 ， 中 国 消费 者 拥有 了 越 来 越 
多 的 智能 设备 。 为 了 让 消费 者 在 不 同时 间 、 不 同 场 合 获得 实时 信息 服 

务 ， 需 要 将 各 种 内 容 和 应 用 通过 云端 进行 整合 、 匹 配 ， 推 向 不 同 的 终端 
用 户 ， 实 现 从 云 到 端 高 效 顺 畅 的 体验 。 从 电信 和 运营 商 到 服务 提供 商 ， 通 
过 云 染 构 部 署 各 种 移动 设备 和 个 性 化 服务 ， 无 疑 是 非常 经 济 、 便 捷 的 途 


A 
径 。 


同时 ， 在 经 济 发 展 和 行业 变革 中 ， 人 们 所 遇 到 的 挑战 也 日 益 复 杂 ， 需 要 
综合 的 解决 方案 来 应 对 。 比 如 ， 在 城镇 化 进程 中 ， 利 用 云 计 算 结合 物 联 
网 与 大 数据 解决 方案 ， 可 推动 智能 交通 、 平 安 城市 、 智 慧 医疗 、 环 境 监 
等 项 目的 建设 ， 带 来 更 好 的 城市 运营 管理 和 公共 服务 。 将 云 计 算 与 传 
统 行业 融合 ， 将 带 来 跨 界 创新 ， 催 生前 所 未 有 的 商业 模式 、 产 业 生态 。 
云 计算 越 来 越 从 一 种 降低 成 本 与 提高 效率 的 方式 ， 演 变 成 为 向 企业 和 消 
费 者 提供 新 服务 的 途径 。 


面 对 在 线 应 用 、 服 务 和 数据 的 高 速 增 长 ， 数 据 中 心 规模 急剧 膀 胀 ， 需 要 
对 数据 中 心 IT 基础 设施 的 主要 组 成 部 分 一 一 服务 器 、 存 储 和 网 络 设备 进 
行 以 软件 定义 为 导向 的 创新 ， 实 现 自动 供给 的 全 资源 池 。 英 特 尔 于 2013 
年 开始 践 行 “软件 定义 基础 设施 ”战略 ， 在 开放 平台 上 由 用 户 自 行 定义 他 
们 的 基础 设施 ， 这 将 使 用 户 在 云 资源 池内 “ 调 兵 喧 将 ”时 更 加 轻松 ， 进 而 
也 让 他 们 的 新 应 用 和 新 服务 更 快 地 得 到 底层 支持 ， 实 现 迅 速 交 付 。 


英特尔 长 期 专注 于 计算 的 创新 ， 提 供 从 服务 右 到 存储 、 网 络 全 面 的 计算 
能 力 及 软件 优化 文 持 ， 与 产业 伙伴 共同 应 对 各 种 云 计算 的 发 展 难题 ， 真 
正 实现 “ 云 以 至 用”"。 为 此 ， 瑞 特 尔 与 产业 界 协 同 合作 ， 基 于 开放 架构 推 
出 了 瑞 特 尔 云 构建 计划 ， 帮 助 开 放 数 据 中 心 联盟 发 气 和 定义 企业 用 户 的 






































云 计算 需求 ， 并 提供 丰富 的 云 计算 解决 方案 。 


携手 推动 云 计 算 创新 ， 英 特 尔 与 华为 的 合作 是 一 个 很 好 的 例证 。 华 为 不 
仅 在 通信 行业 处 于 领先 地 位 ， 过 去 几 年 间 其 云 计 算 业 务 也 成 倍增 长 。 瑞 
特 尔 与 华为 的 合作 由 来 已 入 ， 双 方 都 较 早 受到 信息 通信 产业 中 最 大 的 淹 
流 一 一 信息 技术 和 通信 技术 融合 的 影响 ， 合 作 领 域 不 断 拓展 ， 从 了 最 初 在 
通信 领域， 扩展 到 服务 器 、 存 储 、 网 络 领 域 ， 现 在 又 把 共同 的 目标 放 在 
了 云 计 算 和 大 数据 的 创新 机 会 上 。 我 们 对 双方 的 合作 前 景 充满 信心 。 


中 国 互 联网 用 户 众多 ， 信 息 终 端 普及 率 很 高 ， 企 业 及 消费 者 对 于 IT 技术 
的 了 解 和 接受 速度 也 非常 快 ， 再 加 上 政府 大 力 文 持 云 计算 产业 ， 并 实施 
宽带 中 国 战 略 ， 这 就 使 得 中 国 在 云 计算 部 署 规模 、 技 术 以 及 商业 模式 创 
新 方面 迅猛 及 展 。 我 们 期 每 者 与 国内 合作 伙伴 深化 和 扩展 合作 领域 ， 让 
i i 
I 发 展 进程 ! 























杨 叙 
英特尔 公司 全 球 副 总 裁 兼 中 国 区 总 裁 


什么 是 云 计算 ? 美国 国家 标准 与 技术 研究 院 (NIST) 对 此 有 这 样 一 个 权 
威 和 经 典 的 定义 :“ 所 谓 云 计算 ， 就 是 这 样 一 种 模式 ， 该 模式 允许 用 户 
通过 无 所 不 在 的 、 便 捷 的 、 按 需 获得 的 网 络 接 入 到 一 个 可 动态 配置 的 共 
享 计算 资源 池 《 其 中 包括 了 网 络 设备 、 服 务 器 、 存 储 、 应 用 以 及 业 
务 ) ， 并 且 以 最 小 的 管理 代价 或 者 业务 提供 者 交互 复杂 上 度 即 可 实现 这 些 
可 配置 计算 资源 的 快速 发放 与 用 布 。” 


云 计算 的 核心 可 以 用 五 大 基本 特征 、 三 种 服务 模式 以 及 四 类 部 署 模式 来 
概括 ， 五 大 基本 特征 是 按 需 获得 的 自助 服务 、 广 泛 的 网 络 接 入 、 资 源 池 
化 、 快 捷 的 弹性 伸缩 以 及 可 计量 的 服务 。 三 种 服务 模式 为 云 基础 设施 即 
服务 (IaaS) 、 云 平台 即 服务 (PaaSs) 以 及 云 软件 即 服 务 (SaaS) 。 四 
类 部 署 模式 可 以 划分 为 专 有 云 〈 私 有 云 ) 、 行 业 云 、 公 有 云 以 及 混合 


Zoo 


从 各 类 云 服务 的 创建 、 部 署 以 及 消费 角度 来 描述 云 计 算 的 实质 ， 意 味 着 
云 计算 天 然 要 求 文 持 面 癌 服 务 的 能 力 。 现 代 企 业 通 常会 将 其 IT 基础 设 

施 、 业 务 平台 以 及 软件 即 服 务 的 对 外 开放 作为 其 整体 端 到 并 企业 信息 架 
构 SOA 解 决 方案 中 的 重要 一 坏 来 执行 。 当 然 ， 软 件 即 服务 (SaaS) 作 为 
一 个 流行 多 年 的 话题 ， 最 早出 现 是 在 云 计 算 概 念 出 现 之 前 ， 己 经 不 是 什 
么 新 鲜 概 念 了 。 


以 亚马逊 2006 年 3 月 13 日 发 布 的 S3 服 务 为 起 点 ， 到 “ 云 计 算 ” 概 念 于 2008 
年 最 早 被 Google 提 出 ， 至 今 已 有 8 年 多 的 历史 了 ， 其 核心 理念 已 广 为 人 
们 所 传播 和 接受 ， 也 经 历 了 方兴未艾 的 发 展 。 当 云 计 算 还 处 于 概念 炒作 
的 初级 阶段 时 ， 云 计算 一 度 成 为 I 业界、 媒体 传播 渠道 乃至 所 有 涉及 IT 
信息 化 、 政 府 宏观 规划 、 关 系 国计民生 的 各 大 垂直 行业 关注 的 焦点 ， 云 
计算 也 因此 成 为 街头 埠 尾 热 议 的 “时 竖 ” 话 题 。 与 此 同时 ， 各 种 关于 云 计 
算 的 商业 和 解决 方案 也 应 运 而 生 ， 各 类 理念 和 包装 良 著 不 齐 、 不 一 而 

足 ， 反 而 让 大 家 对 云 计算 到 底 能 做 些 什 么 ， 对 其 潜在 的 客户 到 底 能 够 解 
决 什么 实际 问题 ， 能 够 带 来 什么 样 的 实际 价值 感到 迷 悦 ， 甚 至 使 得 大 家 
对 云 计算 的 未 来 前 景 产 生 了 怀疑 。 


关于 云 计算 的 社会 价值 与 意义 ， 我 们 常常 用 一 句 话 表达 云 计算 的 目标 诉 
求 : “未 来 让 人 们 像 用 水 和 用 电 那 样 使 用 云 计算 ”。 在 这 里 ， 人 们 将 云 计 



































算 视 为 一 种 “水 和 电 ” 那 样 无 处 不 在 、 人 类 社会 日 常生 产 和 生活 过 程 中 必 
不 可 少 的 基础 资源 。 这 里 我 们 用 “电力 ”来 形容 云 计 算 可 能 更 为 恰当 ， 因 
为 电力 是 用 来 驱动 上 一 个 工业 文明 时 代 最 关键 的 生产 资料 。 电 灯 、 收 音 
机 、 电 视 机 、 电 冰箱 、 电 风扇 ， 乃 至 于 自动 化 生产 线 等 无 不 需要 依赖 电 
力 的 驱动 。 相 比 电 力 ， 云 计算 则 对 应 于 当前 的 知识 与 信息 时 代 进 行 任何 
信息 分 析 与 处 理 的 生产 资料 ， 用 于 支撑 ERP/CRM/Email/BI 大 数据 乃至 
金融 实时 交易 数据 处 理 等 所 有 维持 企业 业务 正常 运作 所 需 的 按 需 获取 、 
按 需 分 配 的 关键 资源 。 


从 技术 架构 演进 的 视角 来 看 ， 有 人 将 云 计算 视 为 自 开 领域 冯 . 话 依 备 计 
算 机 架构 诞生 之 后 的 第 三 次 里 程 碑 式 的 变 章 ， 是 对 传统 计算 染 构 与 计算 
模式 的 颠覆 与 创新 。 也 有 人 认为 云 计 算 无 非 是 一 种 商业 理念 上 的 包 闭 ， 
所 谓 “ 新 瓶装 旧 酒 ?>， 只 是 各 个 IT 三 商用 来 “促销 ? 目 己 产 品 的 一 种 “营销 活 
动 ”， 并 没有 春来 根本 性 的 技术 变 昔 ， 也 并 没有 给 IT 架构 带 来 根本 性 的 
变化 ， 那 么 真相 究竟 是 怎样 的 呢 ? 


回顾 企业 IT 染 构 演进 的 整个 历史 ， 我 们 不 难看 到 ， 冯 : 诺 依 曼 染 构 的 第 
一 合计 算 机 诞生 以 来 的 前 30 年 ， 计 算 高 度 集中 化 、 文 持 多 用 户 多 任务 的 
大 型 机 和 小 型 机 是 企业 开 的 主流 形态 ， 构 成 IT 系统 的 软 硬 件 堆栈 各 层 之 
间 缺 少 统一 的 工业 标准 ， 呈 现 出 内 聚 与 厅 合 的 特征 ， 仅 少数 厂家 拥有 提 
供 端 到 亲 高 度 复杂 化 的 开 系 统 软 人 硬件 的 能 力 。 那 个 时 代 ， 芽 系统 造价 高 
昂 ， 往 往 是 少数 高 端 企业 才能 拥有 的 “奢侈 品 ”。 


于 是 ，20 世 纪 80 年 代 ， 以 x86 服 务 器 和 PC 系统 的 诞生 为 标志 ， 企 业 IT 系 
统 迎 来 了 第 二 次 里 程 碑 式 的 变革 : 从 All in One、 全 封闭 的 软 硬 件 栈 走 
回 了 水 平分 层 的 网 络 、 存 储 、 服 务 器 、 操 作 系 统 、 中 间 件 、 应 用 层 等 多 
层次 水 平分 工 的 架构 ， 各 层 之 间接 口 标准 人 化、 规范化 ， 极 大 地 简化 了 每 
一 层 的 技术 复杂 度 ， 各 层 IT 产业 链 获 得 了 大 索 采 与 大 发 展 ， 涌 现 出 一 批 
优秀 的 专业 化 三 家， 聚焦 于 提供 该 领域 内 质量 最 佳 的 产品 和 解决 方案 ， 
IT 系统 终于 开始 走 入 “寻常 百姓 家 ”。 


然而 ， 所 谓 "“ 物 极 必 反 ”， 当 这 个 架构 分 层 及 展 到 一 定 阶 段 ， 浆 问 逐 步 
现 ， 由 于 企业 IT 层次 太 多 ， 各 层 之 间 集 成 交付 的 难度 越 来 越 大 ， 尤 其 
当今 企业 软件 应 用 已 从 单一 实例 应 用 ， 迅 速 走向 大 规模 分 布 式 应 用 ， 
个 关键 业务 的 部 署 往 往 需 要 涉及 服务 器 、 网 络 、 和 存储 等 各 方面 基础 设施 
资源 的 协同 配合 ， 使 得 业务 驱动 的 基础 设施 层 服务 促 、 和 存储 、 网 络 资源 
的 集成 管理 配置 和 按 需 供给 成 为 影响 企业 IT 快 速 啊 应 企业 业务 需求 的 关 
键 制约 因素 。 同 时 软 硬 件 各 层 的 开 友 虽然 实现 了 解 厢 ， 但 部 壮 和 运行 态 
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仍然 是 软 便 件 耘 合 绑 定 的 关系 ， 因 此 路 服 务 吕 的 资源 出 现 忙 采 不 均 时 ， 
依然 无 法 有 效 利用 全 资源 。 


随 着 企业 信息 化 进程 的 不 断 推进 ， 企 业 IT 系 统 的 使 用 者 和 维护 者 们 逐渐 
发 现 ， 分 层 架 构 体 系 也 存在 着 诸多 兹 病 : 


e。 软 便 件 开发 态 解 看， 但 部 绪 和 运行 态 并 未 解 灶 ; 


0 0 
> 局 ; 


e 企业 信息 化 的 重心 癌 软 件 转移 ， 但 计算 、 存 储 、 网 络 人 硬件 弹性 
全 
因素 。 


那么 ， 是 否 存 在 一 条 I 开架 构 演 进 路 径 ， 可 以 在 代价 最 小 化 ， 即 在 不 对 现 
有 和 软 便 件 堆栈 做 颠 履 式 改 动 的 前 提 下 ， 有 效应 对 上 述 关 键 痛 扣 与 挑战 


呢 ? 


答案 是 肯定 的 ， 这 就 是 IT 领域 的 第 三 次 里 程 碑 式 演进 变 哇 ， 即 从 PC 与 服 
务 露 时代 迈 入 云 计 算 时 代 ， 通 过 虚拟 化 与 云 调度 管理 技术 ， 将 来 目 不 同 
厂家 的 、 多 台 烟 奥 式 的 、 彼 此 孤立 和 制 裂 的 计算 、 存 储 、 网 络 设备 在 逻 
辑 上 整合 成 为 一 台 “ 超 大 规模 云 计 算 机 ?， 为 上 层 的 软件 提供 弹性 的 按 需 
资源 供给 的 能 力 ， 从 而 实现 软 硬 件 部 绪 过 程 与 运行 态 的 解 厢 ， 屏 蔽 软 人 硬 
件 异 构 多 厂家 差异 性 与 复杂 有 度 ， 并 填补 计算 与 存储 之 间 的 性 能 鸿沟 。 


其 实 大 家 也 许 已 经 注意 到 ， 我 们 谈 到 云 计算 驱动 的 第 三 次 I 架构 变革 浪 
潮 ， 其 实 早 在 云 计算 理念 问 氟 前 的 几 年 时 间 里 ， 在 众多 互联 网 厂家 中 已 
被 多 次 实践 过 ， 并 且 取 得 了 已 大 成 功 。 那 么 普 衣 意义 上 的 企业 IT 的 云 化 
重 构 又 与 互联 网 成 功 的 实践 之 间 存 在 着 什 么 样 的 关联 呢 ? 

Google、Facebook 的 “ 云 计算 机 ”服务 于 其 特定 的 了 商业 模式 和 业务 应 用 ， 
比如 搜索 类 、 社 交 类 应 用 ， 而 企业 IT 云 化 架构 所 期 望 的 “ 云 计算 机 ”， 则 
面临 着 大 量 的 、 形 形 色色 的 面向 传统 IT 基础 设施 架构 开发 的 企业 应 用 和 
电信 和 应用， 它们 的 应 用 场景 需求 既 有 相同 点 ， 也 存在 着 巳 大 的 差异 化 。 


相同 点 在 于 : 


























e 计算 、 存 储 实现 了 大 规模 资源 池 化 ， 实 现 了 规模 经 济 效 益 ; 


e 分 布 式 架构 与 负载 均衡 能 力 ， 资 源 可 按 业 务 需 求 灵 活 扩 展 伸 
给 ; 


e 依赖 分 布 式 软件 在 系统 整体 层面 而 非 单 点 便 件 层面 实现 高 可 靠 
性 及 高 性 能 保障 。 
不 同 点 在 于 : 


e 普 适 性 一 一 互联 网 平台 一 般 仅 为 其 特定 业务 模型 定制 ， 企 业 云 
平台 则 要 求 具备 对 异 构 多 厂家 应 用 的 普 衣 适用 性 ; 


。 异 构 兼 容 性 一 一 企业 云 平 台 需 要 考虑 异 构 厂 家 人 硬件 的 兼容 性 ， 
需要 实现 对 企业 IT 基 础 设施 现 有 投资 的 最 大 化 保护 ; 


。 局 性 能 一 一 互联 网 业务 虽然 并 及 量 和 注册 用 户 量 庞大 ， 但 企业 
高 端 应 用 在 时 延 和 性 能 方面 却 有 更 高 的 要 求 ; 


e 自动化、 虚拟 化 一 一 互联 网 业务 模式 一 般 为 自主 开发 、 自 运 主 
营 (DevOps、Development 和 Operations 的 组 合 ) ， 因 此 对 管理 自动 
化 要 求 不 迫切 ， 企 业 应 用 则 由 于 应 用 颗粒 度 不 一 ， 基 础 设施 采购 自 
第 三 方 ， 因 此 管理 自动 化 和 虚拟 化 基本 为 必 选 能 力 。 


“天 下 大 势 ， 合 久 必 分 ， 分 久 必 合 ”， 云 计算 时 代 IT 基 础 设施 演进 的 下 
一 个 十 年 ， 是 从 分 离 重 新 走 癌 融 合 的 十 年 : 
e 通过 云 操作 系统 ， 将 数据 中 心 多 厂家 异 构 的 计算 、 存 储 、 网 络 
资源 进行 水 平 融 合 ， 对 外 提供 开放 与 标准 化 的 开 服 务 接 口 ， 实 现 面 
加 利用 本 基础 设施 的 “融合 ”; 


e 通过 融合 架构 一 体 机 ， 将 单 广 家 计算 、 存 储 与 网 络 资源 进行 垂 
直 融 合 ， 提 供 模块 化 、 一 站 式 、 高 性 能 、 性 价 比 最 优 、 面 向 新 建 IT 
基础 设施 的 交付 模式 。 

无 论 代 架构 如 何 曙 旋 式 演进 ， 客 尸 价值 和 驱动 力 都 体现 在 : 


。 更 低 的 TCO” 
































e 更 高 的 业务 部 署 与 生命 周期 管理 效率 ; 
e 更 优 的 业务 性 能 与 用 户 体验 。 


IT 基础 设施 架构 从 分 离 重新 走 问 融合 ， 并 非 简单 的 历史 重复 ， 而 是 在 继 
承 现 有 成 果 的 基础 上 创新 突破 。 无 论 是 水 平 融 合 ， 还 是 垂直 融合 ， 在 核 
心 搁 术 文 撑 方面 并 未 将 现 有 已 形成 产业 规模 的 x86 CPU 及 其 服务 器 计算 
架构 推倒 重 来 ， 而 是 在 最 大 限度 地 重用 这 些 成 熟 产业 组 件 的 前 提 下 ， 借 
助 虚拟 化 及 分 布 式 云 计算 调度 管理 软件 的 作用 ， 将 多 广 家 异 构 或 者 单 广 
家 同 构 的 计算 、 存 储 、 网 络 整 合 为 规模 可 大 可 小 的 “ 云 计 算 机 ?， 从 而 有 
效 地 解决 传统 全 染 构 所 面临 的 挑战 一 一 业务 上 线 周 期 长 ，TCO 居 高 不 
下 ， 企 业 关 键 应 用 性 能 低下 。 














顾 炯 炯 





QTCO， 总 拥有 成 本 ， 即 从 产品 采购 到 后 期 使 用 、 维 护 的 总 成 本 。 











5.2.3 ”OpenFlow 协 议 介 绍 
5.2.4 OF-Config 





























9.43 VLAN 

















10.2 企业 级 Hadoop 
10.2.1 Apache Hadoop 起 源 





10.2.3 HDFS 


10.2.4 MapReduce 


10.2.5 ”ZooKeeper 
10.2.6 HBase 


10.2.7 Hive 


10.3” 流 处 理 技术 











第 1 音 一 、 | 外 全 、 


1.1 云 计 算 的 基础 概念 与 如 松 


过 去 20 年 内 ， 全 球 无 线 与 宽带 技术 及 其 商业 化 应 用 部 车 获得 了 长 足 的 发 
展 与 进步 ， 机 器 与 机 器 之 间 、 机 器 与 人 之 间 的 网 络 连 接 不 再 是 稀缺 资源 
和 瓶颈 ， 为 IT 计算 架构 从 本 地 计算 模式 及 客户 器 、 服 务 需 端 并 重 的 传统 
模式 ， 回 以 “广泛 的 网 络 接 入 “计算 、 存 储 的 集中 资源 池 化 ” “快捷 
的 弹性 伸缩 ”“ 按 需 目 助 及 可 计量 的 服务 ?为 典型 特征 的 云 计 算 模 式 的 
演进 铺 平 了 道路 ， 并 掀起 了 正在 席卷 全 球 的 第 三 次 IT 变 单 溪 淹 。 


在 传统 IT 体系 架构 下 ， 当 前 企业 基础 设施 建设 与 运 维 所 面临 的 核心 痛 点 
问题 可 以 概括 为 如 下 几 点 。 


平均 资源 利用 率 及 能 耗 效 率 低下 


针对 基础 设施 平台 建设 、 扩 容 与 更 新 换代 ， 当 前 企业 普通 采用 的 模式 是 
服务 器 、 网 络 交 换 与 安全 以 及 存储 设备 的 水 平分 层 采 购 。 各 个 IT 基础 设 
施 单 部 件 的 选 型 、 数 量 以 及 不 同 部 件 的 组 网 连接 方案 均 取 决 于 企业 IT 收 
集 的 各 业务 部 门 对 于 IT 核心 业务 处 理 量 需 求 的 预测 和 规划 。 同 时 ， 所 有 
企业 IT 应 用 软件 、 数 据 库 以 及 中 间 件 软件 均 采 用 独占 计算 、 存 储 和 网 络 
资源 的 烟 和 网 式 部 普 。 软 件 应 用 与 硬件 唯一 捆绑 ， 不 同 应 用 之 间 无 法 动 

态 、 局 效 共 至 相同 的 计算 与 存储 资源 。 加 之 按照 摩尔 定律 不 断 翻 看 增长 
的 CPU 计 算 能 力 己 大 大 超出 应 用 软件 对 计算 资源 利用 京 的 同步 能 力 ， 导 
致 企业 IT 的 平均 资源 利用 率 始 终 处 在 低 于 20% 的 水 平 。 


新 业务 上 线 测试 周期 长 ， 效 率 低下 


企业 任何 一 项 新 业务 上 线 ， 从 最 基础 的 硬件 平台 开始 ， 向 上 逐 层 延伸 至 
操作 系统 、 中 间 件 、 数 据 库 以 及 CRM/ERP/HRM/PDM/Email/UC 等 各 类 
业务 关键 软件 堆栈 ， 这 一 过 程 需 要 投入 IT 专 业 化 团队 ， 进 行 软件 安装 、 
调试 、 功 能 与 性 能 验证 测试 、 网 络 配 置 及 修改 调整 ， 然 后 经 过 若干 轮 测 
试 、 故 障 及 性 能 稳定 性 测试 定位 及 重 配 置 和 调整 之 后 ， 才 能 最 终 达到 期 
望 正式 上 线 运行 的 成 就 度 水 准 。 这 个 过 程 一 般 需 要 长 达 2 至 3 个 月 的 时 

间 。 





























资源 储备 及 弹性 伸缩 能 力 不 足 ， 不 具备 应 对 企业 IT 突 发 
业务 高 峰 处 理 的 能 


针对 特定 垂直 行业 ， 短 时 间 内 突 发 性 的 蜗 流 量 、 高 密度 业务 需求 (比如 
节假日 期 间 对 视频 网 站 的 突 有 发 业务 流程 冲击 ) ， 企 业内 部 物理 基础 设施 
资源 往往 无 法 满足 短 时 间 内 迅速 获取 所 需 资 源 的 需求 ， 以 及 处 置业 务 高 
峰 过 后 的 资源 内 置 问题 。 


企业 核心 信息 资产 存在 通过 个 人 PC 电脑 /便携 设备 外 汇 的 
安全 风险 ， 无 法 在 个 人 乔 能 终端 (平板 电脑 、 智 能手 
机 ) 方便 地 访问 企业 防火 场 内 的 工作 流 及 文档 


部 分 企业 核心 信息 资产 通过 员工 个 人 PC 电脑 或 便携 设备 外 汇 给 苋 搜 对 
手 ， 给 企业 竞争 力 和 商业 利益 带 来 负面 影响 。 过 分 严格 的 信息 安全 管控 
普 施 又 导致 了 工作 效率 的 下 降 ， 企 业 管 理 层 及 员工 无 法 便捷 地 通过 无 所 
不 在 的 网 络 访问 企业 防火 墙 内 部 的 信息 资产 。 


中 小 型 企业 希望 通过 宽带 网 络 管道 ， 从 电信 运营 商 或 其 
他 主机 托管 运营 商 的 托管 应 用 数据 中 心 “ 按 需 获 取 ” 其 所 
需 的 企业 IT 应 用 能 力 ， 从 而 实现 日 常 运作 中 IT 成 本 开销 
最 小 化 


数量 众多 的 中 小 企业 ， 缺 少 IT 领域 专业 经 验 ， 甚 到 没有 财力 和 精力 建设 
和 维持 自己 专属 的 I 部 门 以 及 IT 基础 设施 平台 ， 普 遍 和 希望 可 以 直接 从 托 
管 运营 丙 那 里 获取 文 撑 其 日 党 业务 运作 所 需 的 SaaS 服 务 。 


针对 解决 上 述 企 业 IT 系 统 建 设 和 维护 过 程 中 过 到 的 普 亿 问题， 迫切 呼唤 
业界 IT 软 硬件 解决 方案 提供 商 借 助 云 计 算 搁 术 ， 打 造 TCO、 性 价 比 与 效 
率 最 优 的 “IT 基础 设施 私有 云 及 公有 云 ”， 具 体 包 括 : 












































= 面 癌 大 型 企业 和 行业 领域 提供 全 自动 化 管理 、 一 站 式 交 付 、 文 
持 与 企业 ITIL 无 颖 集成 融合 、TCO 最 优化 的 端 到 端 解决 方案 ， 实 现 
企业 传统 IT 基础 设施 的 改造 、 扩 容 和 新 建 ; 


” ”面向 中 小 型 企业 (SMB)， 提 供 支 持 多 租户 安全 隔离 与 动态 发 
放 、 超 大 规模 资源 池 调 度 管 理 、 可 最 大 限度 地 发 挥 规模 经 济 效益 的 








公有 云 托管 解决 方案 。 


无 论 上 述 哪 一 类 形态 ， 企 业 云 计算 IT 基 础 设施 平台 均 可 定位 于 基础 设 

施 、 中 间 层 云 平 台 服 务 、 云 计算 业务 发 放 与 维护 管理 。 针 对 云 平 合 服务 
层 之 上 的 多 样 化 的 内 部 IT 软 件 及 外 部 增值 业务 软件 ， 企 业 〈 含 运营 商 ) 
可 奉行 “ 深 淘 滩 、 低 作 堰 ”的 原则 ， 广 结 各 方 I SV 合作 联盟 ， 建 设 依托 于 











云 计 算 平台 、 繁 来 的 企业 私有 云 及 公有 云 生 态 系 统 。 
通过 上 述 私 有 云 / 公 有 云 生 态 系 统 的 建设 ， 使 得 企业 及 运营 商 客 户 可 以 





真正 将 “IT 基础 设施 平台 ”与 “核心 业务 流程 > 及 “对 外 服务 ” 解 耦 ， 大 幅 精 
简 企 业 、 运 营 商 的 内 部 IT 及 对 外 业务 的 基础 设施 层 建设 部 署 、 运 营 维 护 
及 生命 周期 管理 成 本 ， 从 而 更 好 地 聚焦 “核心 业务 流程 "及 “对 外 服务 ”的 
开发 与 定制 ， 帮 助 企 业 和 运营 商 在 新 形势 下 获得 可 持续 发 展 。 用 一 句 话 
ee 
全 1”。 


1.2 云 计算 的 发 展 趋 势 


由 于 技术 方面 的 限制 ， 前 面 几 年 云 计算 的 主要 应 用 仍然 仅仅 局 限 在 互联 
网 领域 以 及 规模 有 限 的 公有 云 的 建设 方面 ， 而 在 私有 云 的 建设 方面 ， 往 


随 痢 云 计算 技术 日 新 月 异 的 发 展 ， 以 及 信息 产业 界 不 懈 的 “化 云 为 雨 ?的 
努力 ， 云 计算 迈 入 了 一 个 新 的 阶段 ， 云 计算 在 企业 信息 化 以 及 电信 网 络 
转型 变革 中 进行 了 全 面 渗透 与 应 用 落地 。 

忆 体 来 说 ， 新 阶段 云 计算 区 别 于 以 往 的 关键 差别 体现 在 以 下 儿 个 方面 。 


莽 别 1: 从 IT 非 关键 应 用 走 辐 电信 网 络 应 用 和 企业 关键 应 
用 











站 在 云 计 算 面 向 企业 IT 及 电信 网 络 的 使 用 范围 的 视角 来 看 ， 云 计算 发 展 
初期 ， 虚 拟 化 拉 术 主要 局 限于 非 关 键 应 用 ， 比 如 办 公 果 面 云 、 开 发 测试 
云 等 。 该 阶段 的 应 用 往往 对 底层 虚拟 化 市 来 的 性 能 开销 并 不 敏感 ， 和 信 们 
更 加 关注 村 资源 池 规 模 化 集中 之 后 资源 利用 效率 的 提升 以 及 业务 部 闭 效 
率 的 提升 。 然 而 ， 随 着 云 计算 的 持续 深入 普及 ， 企 业 IT 云 化 的 范围 已 从 





周边 软件 应 用 ， 逐 步 走 向 更 加 关键 的 企业 应 用 ， 其 至 企业 的 核心 生产 开 
系统 。 由 此 ， 如 何 确保 云 平 台 可 以 更 为 蝇 效 、 更 为 可 靠 地 文 撑 好 时 延 敏 
感 的 企业 关键 应 用 ， 就 变 得 至 关 重 要 。 


对 于 企业 开 基 础 设施 的 核心 资产 而 言 ， 除 去 实 实在 在 的 计算 、 存 储 、 网 
络 资源 等 有 形 物 理 资产 之 外 ， 最 有 价值 的 莫 过 于 企业 数据 这 些 无 形 资 

产 。 在 云 计 算 的 计算 虚拟 化 技术 发 展 初级 阶段 ，Guest OS 与 Host OS 之 
间 的 前 后 端 JO 队 列 在 IO 吞吐 上 的 开销 较 大 ， 而 传统 的 结构 化 数据 由 于 
对 IO 性 能 吞吐 和 时 延 要 求 很 高 ， 这 两 个 原因 导致 很 多 事务 关键 型 结构 

化 数据 在 云 化 的 初级 阶段 并 未 被 纳入 虚拟 化 改造 的 范畴 ， 从 而 使 得 相关 
结构 化 数据 的 基础 设施 仍 处 于 虚拟 化 乃至 云 计 算 资 源 池 的 管理 范围 之 

外 。 然 而 随 着 虚拟 化 XENKVM 引 擎 在 IO 性 能 上 的 不 断 优化 提升 〈 如 采 
用 SR-IOV 直 通 、 多 队列 优化 技术 ) ， 使 得 处 于 企业 核心 应 用 的 ERP 等 关 
系 型 关键 数据 库 迁 移 到 虚拟 化 平台 上 实现 部 署 和 运行 已 不 是 问题 。 


与 此 同时 ， 云 计算 在 最 近 2 一 3 年 内 ， 已 从 概念 发 源 地 的 互联 网 IT 领域 渗 
透 到 电信 运营 商 网 络 领 域 。 互 联网 商业 和 技术 模式 的 成 功 ， 局 发 电信 运 
营 商 们 通过 引入 云 计 算 实现 对 现 有 电信 网 络 和 网 元 的 重 构 来 打破 传统 意 
义 上 电信 厂家 所 采用 的 电信 软件 与 电信 硬件 绑 定 的 销售 模式 ， 同 样 享受 
到 云 计算 为 IT 领域 带 来 的 红利 ， 如 : 硬件 TCO 的 降低 、 绿 色 节 能 、 业 务 
创新 和 部 车 效率 的 提升 、 对 多 国 多 子 网 的 电信 功能 的 快速 软件 定制 化 以 
及 更 强 的 对 外 能 力 开放 。 


又 别 2: 从 计算 虚拟 化 走 问 存储 虚拟 化 和 网 络 虚 拟 化 


从 文 撑 云 计算 按 需 、 弹 性 分 配 资源 ， 与 硬件 解 奈 的 虚拟 化 技术 的 角度 来 
看 ， 云 计算 早期 阶段 主要 聚焦 在 计算 虚拟 化 领域 。 事 实 上 ， 众 所 周知 的 
计算 虚拟 化 技术 早 在 IBM ”370 时 代 就 已 经 在 其 大 型 机 操作 系统 上 诞生 
了 。 技 术 原 理 是 通过 在 OS 与 裸 机 硬件 之 间 插 入 虚拟 化 层 ， 来 在 裸 机 硬 
件 指令 系统 之 上 仿真 模拟 出 多 个 370 大 型 机 的 “运行 环境 ?， 使 得 上 层 “ 误 
认为 ”自己 运行 在 一 个 独占 系统 之 上 上， 实际 上 是 由 计算 虚拟 化 引擎 在 多 
个 虚拟 机 之 间 进 行 CPU 分 时 调度 ， 同 时 对 内 存 、IO、 网 络 等 访问 进行 
访问 屏蔽 。 当 x86 平 台 演 进 成 为 在 IT 领域 硬件 平台 的 主流 之 后 ，VMware 
ESX、XEN、KVM 等 依托 于 单机 OS 的 计算 虚拟 化 技术 才 将 IBM 370 的 虚 
拟 化 机 制 在 x86 服 务 器 的 硬件 体系 架构 下 实现 并 进行 商品 化 ， 并 且 在 单 
机 / 单 服务 器 虚拟 化 的 基础 上 ， 引 入 了 具备 虚拟 机 动态 迁移 和 HA 调度 能 
力 的 中 小 集群 管理 软件 (如 vCenter/vSphere、XEN Center、 Fusion 





























Sphere 等 ) ， 从 而 形成 了 当前 的 计算 虚拟 化 主体 。 


随 痢 数据 和 信息 越 来 越 成 为 企业 IT 中 最 为 核心 的 资产 ， 作 为 数据 信息 持 
入 化 载体 的 存储 已 经 逐 步 从 服务 器 计算 中 和 剥离 出 来 ， 成 为 一 个 庞大 的 独 
立 产 业 ， 与 必 不 可 少 的 CPU 计算 能 力 一 样 ， 在 数据 中 心 发 挥 着 至 藉 重 要 
的 作用 。 当 企业 对 存储 的 需求 用 生变 化 时 该 如 何 快速 满足 新 的 需求 以 及 
0 8 
玉 解 决 。 


与 此 同时 ， 现 代 企 业 数 据 中 心 的 生硬 件 的 主体 已 经 不 再 是 封闭 的 、 主 从 
式 架 构 的 大 型 机 、 小 型 机 一 统 天 下 的 时 代 。 客 户 端 与 服务 器 之 间 南 北方 
加 通信 、 服 务 器 与 服务 器 之 间 东 西方 各 协作 通信 以 及 从 企业 内 部 网 络 访 
问 远程 网 络 和 公众 网 络 的 通信 均 己 走 入 了 基于 对 等 、 开 放 为 主要 特征 的 
以 太 互 联 和 广域网 互联 时 代 。 因 此 ， 网 络 也 成 为 计算 、 存 储 之 后 ， 数 据 
中 心 开 基础 设施 中 不 可 或 缺 的 “三 要 系 ” 之 一 。 


了 怠 企 业 数 据 中 心 端 到 端 基础 设施 解决 方案 而 言 ， 服 务 器 计算 虚拟 化 已 经 
远 远 不 能 满足 用 户 在 企业 数据 中 心 内 对 按 需 分 配 资源 、 弹 性 分 配 资源 、 
a 
YY 运 和 而 生 。 


除去 云 管理 和 调度 所 完成 的 管理 控制 面 的 API 与 信息 模型 归 一 化 处 理 之 
外 ， 虚 拟 化 的 重要 特征 是 通过 在 指令 访问 的 数据 面 上 ， 对 所 有 原始 的 访 
问 命令 字 进 行 截获 ， 并 实时 执行 “欺骗 * 式 仿真 动作 ， 使 得 被 访问 的 资源 
时 现 出 与 其 真正 的 物理 资源 不 同 的 (软件 无 需 关 注 人 硬件 ) 、“ 按 需 获 
取 ” 的 颗粒 度 。 对 于 普通 x86 服 务 器 来 说 ，CPU 和 内 存 资源 虚拟 化 后 再 将 
其 (以 虚拟 机 CPU/ 内 存 规 格 〉 按 需 供给 资源 消费 者 (上 层 业 务 用 

户 ) 。 由 于 计算 能 力 的 快速 发 展 ， 以 及 软件 通过 负载 均衡 机 制 进行 水 平 
扩展 的 能 力 提 升 ， 计 算 虚 拟 化 中 仪 存在 资源 池 的 “大 分 小 ”的 问题 。 然 而 
对 于 存储 来 说 ， 由 于 最 基本 的 硬盘 (SATA/SAS) 容 量 有 限 ， 而 客户 、 租 
户 对 数据 容量 的 需求 越 来 越 大 ， 因 此 必须 考虑 对 数据 中 心 内 跨越 多 个 松 
耦合 的 分 布 式 服务 器 单元 内 的 存储 资源 《服务器 内 的 存储 资源 、 外 置 
SAN/NAS 在 内 的 存储 资源 ) 进行 “小 聚 大 ”的 整合 ， 组 成 存储 资源 池 。 这 
个 存储 资源 池 ， 可 能 是 某 一 厂家 提供 的 存储 软 硬 件 组 成 的 同 构 资源 池 ， 
也 可 能 是 被 存储 虚拟 化 层 整合 成 为 跨 多 厂家 异 构 存储 的 统一 资源 池 。 各 
种 存储 资源 池 均 能 以 统一 的 块 存 储 、 对 象 存储 或 者 文件 的 数据 面 格式 进 
行 访问 。 


























对 于 数据 中 心 网 络 来 说 ， 网 络 的 需求 并 不 是 凭空 而 来 的 ， 而 是 来源 于 业 
务 应 用 ， 与 作为 网 络 端 节点 的 计算 和 存储 资源 有 着 无 法 切断 的 内 在 关联 
性 。 然 而 ， 传 统 的 网 络 交换 功能 都 是 在 物理 交换 机 和 路 由 器 设备 上 完成 
的 ， 网 络 功能 对 上 层 业 务 应 用 而 言 仅仅 体现 为 一 个 一 个 家 通信 链 路 连接 
起 来 的 孤立 的 “盒子 ”， 无 法 动态 感知 来 和 目 上 层 业 务 的 网 络 功能 需求 ， 完 
全 需要 人 工 配置 的 方式 来 实现 对 业务 层 网 络 组 网 与 安全 隔离 策略 的 需 

要 。 在 多 租户 虚拟 化 的 环境 下 ， 不 同 租户 对 于 边缘 的 路 由 及 网 关 设 备 的 
配置 管理 需求 存在 极 大 的 差异 化 ， 而 物理 路 由 此 和 防火 墙 自 壬 的 多 实例 
能 力也 无 法 满足 云 环境 下 租户 数量 的 要 求 ， 采 用 与 租户 数量 等 量 的 路 由 
虱 与 防火 墙 物理 设备 ， 成 本 上 叉 无 法 被 多 数 客户 所 接受 。 于 是 人 们 思考 
征 否 可 能 将 网 络 上 自身 的 功能 从 专用 封闭 平台 迁移 到 服务 器 通用 x86 平 台 
上 来 。 这 样 至 少 网 络 端 市 点 的 实例 可 以 由 云 操作 系统 来 直接 目 动 化 地 创 
建 和 销毁 ， 并 通过 一 次 性 建立 起 来 的 物理 网 络 连接 和 矩阵， 进行 任意 两 个 
网 络 端 节 点 之 间 的 虚拟 通信 和 链 路 建立 ， 以 及 必要 的 安全 隔离 保障 ， 从 而 
里 程 碑 式 地 实现 了 业务 驱动 的 网 络 目 动 化 管理 配置 的 能 力 ， 大 幅度 降低 
数据 中 心 网 络 管理 的 复杂 上 度 。 从 资源 利用 率 的 视角 来 看 ， 任 意 两 个 虚拟 
网 络 布 氮 之 间 的 流量 带宽 ， 都 需要 通过 物理 网 络 来 交换 和 承载 ， 因 此 只 
要 不 超过 物理 网 络 的 资源 配额 上 限 〈 默 认 建 议 物 理 网 络 按照 无 阻塞 的 

CLOS 模 式 来 设计 实施 ) ， 只 要 虚拟 市 点 修 释放 ， 其 所 对 应 的 网 络 禹 宽 
占用 也 将 被 同步 释放 ， 因 此 也 就 相当 于 实现 对 物理 网 络 资源 的 最 大 限度 
的 “网 络 资源 动态 共享 "。 换 句 话 说 ， 网 络 虚拟 化 让 多 个 盒子 式 的 网 络 实 
体 第 一 次 以 一 个 统一 整合 的 “网 络 资 源 池 ”的 形态 出 现在 业务 应 用 层面 

前 ， 同 时 与 计算 和 存储 资源 之 间 也 有 统一 协同 机 制 。 


又 别 3: 资源 池 从 小 规模 的 资源 虚拟 化 整合 走 同 更 大 规模 
的 资源 池 构 建 ， 应 用 范围 从 企业 内 部 走向 多 租户 的 基础 
设施 服务 乃至 端 到 端 IT 服务 


站 在 云 计算 提供 像 用 水 用 电 一 样 方便 的 服务 能 力 的 技术 实现 角度 来 看 ， 
云 计 算 发 展 早期 ， 虚 拟 化 技术 〈 如 VMware ESX， 微 软 Hyper-V， 基 于 
Linux 的 XEN、KVM) 被 普 过 采用 ， 用 来 实现 以 服务 需 为 中 心 的 虚拟 化 
资源 整合 。 在 这 个 阶段 ， 企 业 数 据 中 心中 的 服务 器 只 是 部 分 孤岛 式 的 虚 
拟 化 以 及 资源 池 整 合 ， 还 没有 明确 的 多 租户 以 及 服务 自动 化 的 理念 。 在 
该 阶段 ， 服 务 器 资源 池 整 合 的 服务 对 象 是 数据 中 心 的 基础 设施 硬件 以 及 
应 用 软件 的 管理 人 员 。 在 实施 虚拟 化 之 前 ， 物 理 的 服务 器 及 存储 、 网 络 
硬件 是 数据 中 心 管理 人 员 的 管理 对 象 ， 在 实施 虚拟 化 之 后 ， 管 理 对 象 从 
物理 机 转变 为 虚拟 机 及 其 对 应 的 存储 卷 、 软 件 虚拟 交换 机 ， 甚 至 软件 防 





























火 墙 功能 。 目 标 是 实现 多 应 用 实例 和 操作 系统 软件 在 硬件 上 最 大 限度 地 
共享 服务 器 硬件， 通过 多 应 用 负载 的 前 峰 错 谷 达到 资源 利用 率 提 升 的 目 
的 ， 同 时 为 应 用 软件 进一步 提供 额外 的 HA/FT (High Availability/Fault 
Tolerance， 高 可 用 性 /容错 ) 可靠 性 保护 ， 以 及 通过 轻 载 合并 、 重 载 分 
Os 
VE o 


然而 ， 这 些 虚拟 化 资源 池 的 构建 ， 仪 仅 是 从 数据 中 心 定理 员 视 角 实 现 了 
资源 利用 率 和 能 效 比 的 提升 ， 与 真正 的 多 租户 云 服务 模式 仍然 相差 其 
远 。 因 为 在 云 计 算 进一步 走 辐 普及 深入 的 新 阶段 ， 通 过 虚拟 化 整合 之 后 
的 资源 池 的 服务 对 象 ， 不 能 再 仪 仪 局 限于 数据 中 心 管理 员 本 里 ， 而 需要 
扩展 到 每 个 云 租户 。 因 此 云 平台 必须 在 基础 设施 资源 运 维 监 控 管 理 
Portal 的 基础 上 ， 进 一 步 面 癌 每 个 内 部 或 者 外 部 的 云 租户 提供 按 需 定制 
的 基础 设施 资源 ， 订 购 与 日 常 维护 管理 的 Portal 或 者 API 界 面 ， 并 将 虚拟 
化 或 者 物理 的 基础 设施 资源 的 增 、 删 、 改 、 碍 等 权限 按照 分 权 分 域 的 原 
则 赋予 每 个 云 租户 ， 每 个 云 租户 仅 补 授权 访问 其 目 己 申请 创建 的 计算 、 
存储 以 及 与 相应 资源 附着 绑 定 的 0S 和 应 用 软件 资源 ， 最 终 使 得 这 些 云 
租户 可 以 在 无 需 购 买 任何 硬件 IT 设备 的 前 提 下 ， 实 现 按 需 快速 资源 获 
取 ， 以 及 高 度 目 动 化 部 普 的 开业 务 人 敏捷 能 力 的 文 撑 ， 从 而 将 云 资 源 池 的 
规模 经 济 效益 和 弹性 按 需 的 快速 资源 服务 的 价值 充分 发 掘 出 来 。 


兰 别 4: 数据 规模 从 小 规 柑 走向 海量 ， 数 据 形 态 从 传统 结 
构 化 走 癌 非 结构 化 和 半 结 构 化 


站 在 云 计算 系统 需要 提供 的 处 理 能 力 角 度 看 ， 随 大 智能 终端 的 普及 、 社 
区 网 络 的 火热 、 物 联网 的 逐步 兴起 ，IT 网 络 中 的 数据 形态 已 经 由 传统 的 
结构 化 、 小 规模 数据 ， 迅 速 发 展 成 为 有 大 量 文 本 、 大 量 图 片 、 大 量 视频 
的 非 结构 化 和 半 结 构 化 数据 ， 数 据 量 也 呈 几 何 级 增长 。 


对 非 结 构 化 、 半 结构 化 大 数据 的 处 理 而 产生 的 数据 计算 和 存储 量 的 规模 
再 求 ， 已 远 远 超出 传统 的 Scale-up 硬 件 系统 可 以 处 理 的 ， 因 此 要 求 必 须 
充分 利用 云 计算 提供 的 Scale-out 架 构 特征 ， 按 需 获 得 大 规模 资源 池 来 应 
对 大 数据 的 高 效 高 容量 分 析 处 理 的 需求 。 


企业 内 日 常事 务 交 易 过 程 中 积累 的 大 数据 或 者 从 关联 客户 社交 网 络 以 及 
网 站 服务 中 抓 取 的 大 数据 ， 其 加 工 处 理 往往 并 不 需要 实时 人 处理 ， 也 不 需 
要 系统 处 于 持续 化 的 工作 态 ， 因 此 共享 的 海量 存储 平台 ， 以 及 批量 并 行 





















































计算 资源 的 动态 申请 与 释放 能 力 ， 将 成 为 未 来 企业 以 最 高 效 的 方式 文 撑 
大 数据 资源 需求 的 解决 方案 备 选 项 。 


差别 5: 企业 应 用 接 入 模式 从 传统 接 入 走 同 BYOD 接 入 


从 云 计算 系统 给 终端 用 户 提 供 的 接 入 能 力 角 上 度 看 ， 云 计算 架构 下 ， 随 同 
企业 用 户 近 端 计算 、 存 储 资 源 向 远 并 的 数据 中 心 的 迁移 和 集中 化 部 署 ， 
市 来 了 企业 用 户 如 何 通过 企业 内 部 局 域 网 及 外 部 固定 、 移 动 宽带 广域网 
等 多 种 不 同 途径 ， 借 助 回 定 、 移 动 等 多 种 不 同 痿 终端 或 智能 终 问 形态 接 
入 云端 企业 应 用 的 问题 。 面 对 局 域 网 及 广域网 连接 在 通信 和 包 转 发 与 传输 
时 延 不 稳定 、 丢 包 以 及 端 到 端 QoS 质量 保障 机 制 缺失 等 实际 挑战 ， 如 何 
确保 远程 云 接 入 的 性 能 体验 达到 与 本 地 计算 相同 的 水 平 ， 成 为 企业 云 计 
算 IT 基础 设施 平台 面临 的 又 一 大 挑战 。 


为 应 对 云 接 入 管道 上 不 同业 务 类 型 对 业务 体验 的 不 同 诉求 ， 解 决 业界 通 
用 远程 果 面 协议 (如 RDP) 在 满足 本 地 计算 体验 能 力 方 面 存 在 的 缺陷 与 
不 足 ， 需 重点 关注 ALL IP 多 媒体 首 视 频 端 到 端 QoS/QoE 优 化 ， 尤 其 是 在 
远程 更 面 接 入 协议 中 对 不 同业 务 类 别 进 行动 态 识别 并 区 别处 理 ， 使 其 满 
足 如 下 场景 需求 。 




















> 普通 办 公 业 务 响应 时 延 小 于 100ms， 带 宽 占用 小 于 150Kbps: 通 
过 在 服务 器 端 截获 GDIUDX/OpenGL 绘 图 指令 ， 结 合 对 网 络 流量 的 
实时 监控 和 分 析 ， 从 而 选择 最 佳 的 传输 方式 和 压缩 算法 ， 将 服务 端 
绘图 指令 重 定 向 到 瘦 客 户 端 或 软 终端 重 放 ， 从 而 实现 时 延 与 带宽 占 
用 的 最 小 化 。 


> 针对 虚拟 桌面 环境 下 VoIP 质量 普遍 不 佳 的 情况 ， 默 认 的 桌面 协 
议 TCP 连 接 不 适合 作为 VoIP 承载 协议 的 特点 : 采用 RTP/UDP 代 蔡 
TCP， 并 选择 G.729/AMR 等 成 熟 的 VoIP Codec; 在 瘦 客 户 端 可 以 支 
持 VoIP/UC 客 户 端的 情况 下 ， 尽 量 引 入 VoIP 虚拟 机 劳 路 方案 ， 从 而 
减少 不 必要 的 额外 编 解 码 处 理 带 来 的 时 延 及 话音 质量 上 的 开销 ; 上 
和 
是 升 到 4.0。 








> 针对 远程 云 接 入 的 高 清 (1080p/720p)〉 视频 播放 场景 :在 云端 
桌面 的 多 虚拟 机 并 发 且 支 持 媒 体 流 重 定 向 的 场景 下 ， 针 对 普通 瘦 终 
端 高 清 视频 解码 处 理 能 力 不 足 的 问题 ， 桌 面 接 入 协议 客户 端 软件 应 


具备 通过 专用 API 调 用 瘦 终 端 蕊 片 (ARM/ATOM) 多 媒体 硬 解码 处 
理 能 力 ; 部 分 应 用 如 Flash 以 及 直接 读 写 显卡 便 件 的 视频 软件 ， 必 须 
依赖 GPU 或 硬件 DSP 的 并 发 编 解码 能 力 ， 基 于 通用 CPU 的 软件 编 解 
码 将 导致 画面 停滞， 体验 无 法 接受 ， 可 选择 由 硬件 GPU 虚拟 化 或 

DSP 加 速 卡 来 有 效 提 升 云 端 高 清 视 频 应 用 的 访问 体验 ， 达 到 与 本 地 
视频 播放 相同 的 清晰 与 流畅 度 。 桌 面 协议 还 能 够 智能 识别 并 区 分 画 
面 变 化 热度 ， 仅 对 变化 度 高 且 绘 图 指令 重 定 同 无 法 覆盖 部 分 才 启 动 
带宽 消耗 较 高 的 显存 数据 压缩 重 定 向 。 


> ”针对 工程 机 械 制 图 、 硬 件 PCB 制 图 、3D 游 戏 、VR 仿 真 ， 甚 至 
Win7 ”Aero 透 明 效 果 等 云 问 图 形 计算 密集 型 类 应 用 : 需要 虚拟 化 
GPU 资源 进行 硬件 辅助 的 泻 染 与 压缩 加 速 处 理 。 


男 一 方面 ， 正 当 全 球 消费 者 IT 步 入 方兴未艾 的 Post-PC 时 代 大 门 之 时 ， 
iOS 及 Android 智 能 终端 正在 悄悄 取代 企业 用 户 办 公 位 上 的 PC 甚至 便携 电 
脑 ， 企 业 用 户 和 希望 通过 智能 终端 不 仅 可 以 方便 地 访问 传统 Windows 桌 面 
应 用 ， 还 可 以 从 统一 的 “桌面 工作 空间 ?访问 公司 内 部 的 Web SaaS 应 用 、 
第 三 方 的 外 部 Saas 应 用 以 及 其 他 Linux 桌 面 系统 里 的 应 用 ， 而 且 和 希望 一 
套 企 业 的 云端 应 用 可 以 不 必 针 对 每 类 智能 终端 OS 平 台 开 发 多 套 程 序 ， 
就 能 够 提供 覆盖 所 有 智能 终端 形态 的 统一 业务 体验 ， 基 于 此 考虑 ， 企 业 
云 计算 IT 基础 设施 需要 在 面向 传统 Windows 桌 面 应 用 云 接 入 的 自 研 桌面 
协议 基础 上 ， 引 入 基于 HTML5 协 议 、 支 持 跨 多 种 桌面 OS 系统 、 支 持 统 
一 认证 及 应 用 聚合 、 支 持 应 用 零 安装 升级 维护 以 及 异 构 智能 终端 多 屏 接 
入 统一 体验 的 云 接 入 解决 方案 一 一 Web Desktop。 


莽 别 6: 云 平 台 从 财源 、 封 闭 走向 开源 、 开 放 


从 云 计 算 平 台 的 接口 兼容 能 力 角度 看 ， 云 计算 早期 阶段 ， 闭 源 VMware 
VSphere/”vCenter、 微 软 SystemCenteYvVHyper-V 云 平台 软件 由 于 其 虚拟 化 
成 熟 度 遥遥 领先 于 开源 云 平 台 软 件 的 成 熟 度 ， 因 此 导致 财源 的 私有 云 平 
台 成 为 业界 主流 的 选择 。 然 而 ， 随 着 XEN/ KVM 虚 拟 化 开源 ， 以 及 
OpenStack、CloudStack、Eucalyptus 等 云 操作 系统 ODS 开源 软件 系统 的 崛 
起 和 快速 进步 ， 开 源 力量 迅速 发 展 壮 大 起 来 ， 迎 头 赶 上 并 逐步 成 长 为 可 
以 左右 行业 发 展 格局 的 重要 诀 定 性 力量 。 仅 以 OpenStack 为 例 ， 目 前 
IBM、HP、Suse、Redhat、Ubuntu 等 领先 的 软 硬 件 公司 都 已 成 为 
OpenStack 白 金 会 员 ， 从 2010 年 诞生 第 一 个 版 本 开始 ， 平 均 每 半年 发 布 
一 个 新 版 本 ， 所 有 会 员 均 积极 投 呈 到 开源 贡献 中 来 ， 到 目前 为 止 已 推出 
























































8 个 版 本 CA/B/C/D/E/F/G/HD， 功 能 不 断 完善 。 到 2014 年 上 半年 ， 
OpenStack 的 成 熟 度 与 vCloud/ vSphere 5.0 版 本 的 水 平 相当 ， 满 足 基 本 规 
模 商 用 和 部 署 要 求 。 从 目前 的 发 展 态 势 来 看 ，OpenStack 开 源 大 有 成 为 
云 计算 领域 的 Linux 开 源 之 势 。 回 想 2001 年 前 后 当 Linux OS 仍 相 当 弱 
小 、UNIX 操 作 系统 大 行 其 道 且 占据 企业 IT 系统 主要 生产 平台 的 阶段 

时 ， 多 数 人 不 会 想象 到 仅 10 年 时 间 ，Linux 已 取代 UNIX， 成 为 主导 企业 
IT 服 务 端 的 默认 OS 选择 ， 开 源 Linux 正 在 配合 Intel x86 来 取代 小 型 机 、 大 
A 


tg 的 内 容 将 重 扣 围绕 云 计 算出 现 的 这 些 新 变化 来 讲述 云 计算 的 染 


2.1 _ 云 计 算 的 总 体 架 松 


从 上 述 分 析 不 难看 出 ， 云 计算 推动 了 IT 领域 自 20 世 纪 50 年 代 以 来 的 第 三 
次 变 章 浪潮 ， 对 各 行 各 业 数 据 中 心 基础 设施 的 架构 演进 及 上 层 应 用 与 中 
间 件 层 软件 的 运营 管理 模式 产生 深远 影响 。 在 云 计 算 发 展 早 期 ， 
Google、Amazon、Facebook 等 互联 网 巨头 们 在 其 超大 规模 Web 搜 索 、 电 
子 商 务 及 社交 等 创新 应 用 的 牵引 下 ， 树 立 了 业界 云 计算 平台 基础 架构 的 
标杆 与 典范 ， 但 那个 时 期 ， 多 数 行业 与 企业 IT 的 数据 中 心 仍 然 是 基于 传 
统 的 以 硬件 资源 为 中 心 的 架构 ， 即 便 是 已 进行 了 部 分 云 化 的 探索 ， 也 多 
为 新 建 的 孤 马 式 虚 拟 化 资源 池 【〈 如 基于 VMware 的 服务 器 资源 整合 ) ， 
或 者 仅仅 对 原 有 软件 系统 的 服务 器 进行 虚拟 化 整合 改造 。 随 着 云 计算 技 
术 与 市 场 的 发 展 ， 近 两 年 云 计 算 技 术 与 架构 才 开 始 在 各 行 各 业 信 息 化 建 
设 中 和 数据 中 心 的 演进 变革 中 逐步 得 到 了 真正 广 沁 和 全 面 的 沙 地 部 轩 与 
应 用 。 企 业 数 据 中心 基 础 设施 架构 正在 面临 着 一 场 前 所 未 有 的 变革 ， 即 
从 “人 硬件 定义 ” 回 “ 软 件 定义 ”的 云 化 基础 设施 染 构 演进 。 云 计算 将 为 运营 
商 和 企业 融 来 业务 敏捷 性 、 核 心 生 产 力 与 苑 争 力 的 大 幅 提 升 ，IT 基 础 设 
施 资 源 实现 最 优化 配置 。 


那么 ， 云 计算 新 发 展 阶段 具体 的 架构 形态 完 竟 应 该 是 怎样 的 呢 ? 是 否 存 
在 一 个 对 于 所 有 垂直 行业 的 企业 数据 中 心 基础 设施 云 化 演进 ， 以 及 无 论 
对 于 公有 云 和 私有 云 场 景 都 普遍 适用 的 标准 化 云 平 台 染 构 呢 ? 


答案 无 疑 是 肯定 的 。 就 开 基 础 设施 与 上 层 软 件 应 用 的 看 合 度 而 言 ， 在 业 
务 应 用 软件 逻辑 的 执行 层面 上 ， 由 于 Intel x86 服 务 器 架构 已 成 为 企业 IT 
平台 的 普遍 选择 ， 以 及 x86 服 务 器 逐渐 蔡 代 RISC 及 UNIX 小 型 机 ， 使 得 

基于 x86 指 令 体 系 的 二 进 制 可 执行 代码 成 为 普遍 的 选择 。 更 进一步 ， 由 

于 Windows、Linux 操 作 系 统 在 各 行业 IT 系 统 中 的 广泛 采用 与 普及 ， 操 作 
系统 层面 的 系统 调用 API 也 成 为 上 层 应 用 与 服务 喜 主 机 基础 设施 硬件 资 

源 交 互 的 默认 界面 。 这 基本 上 完全 解除 了 上 层 软 件 应 用 与 底层 硬件 平台 
之 间 的 耦合 与 依赖 性 。 在 业务 应 用 软件 与 其 所 需 的 基础 设施 资源 之 间 的 
管理 调度 层面 上 ， 通 过 对 基础 设施 即 服 务 (IaaS) 面 同上 层 的 API 定 义 的 
标准 化 与 规范 化 ， 同 样 可 以 实现 我 们 所 期 望 的 软 便 件 解 耦 。 






































从 系统 架构 视角 看 ， 尽 管 私有 云 与 公有 云 的 外 在 商业 模式 与 运营 管理 模 
式 存 在 显著 的 差别 ， 然 而 从 技术 视角 来 看 ， 无 论 是 公有 云 还 是 私有 云 ， 

其 核心 实质 是 完全 相同 的 : 首先 将 硬件 上 分 散 的、 孤立 的 多 个 设备 资 

源 ， 在 逻辑 上 整合 构建 为 一 个 大 规模 的 统一 资源 池 ， 然 后 再 基于 此 资源 
池 ， 以 Web Portal 或 者 API 为 界面 ， 疝 外 部 云 租 户 或 者 内 部 云 得 户 提 供 按 
需 分 配 与 释放 的 基础 设施 资源 池 ， 云 租户 可 以 通过 Web Portal 或 者 API 界 
面 给 出 其 从 管理 规划 和 应 用 需求 视角 出 发 对 计算 、 存 储 、 网 络 等 基础 设 
施 资源 的 规模 大 小 以 及 QoS/SLA 量 化 规格 方面 的 需求 ， 并 依赖 云 计算 淋 
构 平 合 来 实现 对 业务 请 求 界 面 上 所 需 的 高 度 目 动 化 的 、 弹 性 按 需 的 资源 


供给 。 


综 上 所 述 ， 一 僚 统 一 的 云 计 算 架构 是 完全 可 以 同时 宪 盖 于 公有 云 和 私有 
云 应 用 场景 的 。 


2.1.1 _ 云 计 算 核心 架构 上 下 、 


云 计算 架构 应 用 上 下 文 的 相关 角色 包括 云 租 户 / 服 务 消费 者 、 云 应 用 开 
发 者 、 云 服务 运营 者 /提供 者 、 云 设备 提供 者 〈 见 图 2-1) 。 
































云 租 户 / 云 服务 消费 者 云 应 用 开发 者 
IF] 
IF3 2 
云 计算 数据 中 心 解决 方案 nD 


云 服务 运营 者 /提供 者 





IF4 





国 云 设备 提供 者 


图 2-1 云 计算 系统 构架 上 下 文 
云 租 户 / 云 服务 消费 者 


云 租户 是 指 这 样 一 类 组 织 、 个 人 或 IT 系统 ， 该 组 织 /个 人 / 开 系 统 消费 由 
云 计算 平台 提供 业务 服务 〈 比 如 请 求 使 用 云 资源 配额 ， 改 变 指 配给 虚拟 
机 的 CPU 处 理 能 力 ， 增 加 Web 网 站 的 并 发 处 理 能 力 等 ) 。 该 云 租户 / 云 服 
务 消费 者 可 能 会 因 其 与 云 业 务 的 交互 而 锐 计 费 。 


云 租 户 也 可 被 看 做 古 一 个 云 租 户 / 服 务 消费 者 组 织 的 授权 代表 。 比 如 说 
一 个 企业 使 用 了 云 计 算 业 务 ， 该 企业 整体 上 相对 云 业 务 运营 及 提供 者 来 
说 是 业务 消费 者 ， 但 在 该 业务 消费 者 内 可 能 存在 更 多 的 细 化 角色 ， 比 如 
使 得 业务 消费 得 以 实施 的 技术 人 员 ， 以 及 关注 云 业务 消费 财务 方面 的 商 
务 人 员 等 。 当 然 ， 在 更 为 简化 的 公有 云 场景 下 ， 这 些 云 业务 消费 者 的 角 
色 关 系 将 简化 归并 到 一 个 角色 。 


云 租 户 /服务 消费 者 在 目 助 Portal 上 浏览 去 服务 货 架 上 的 服务 目录 ， 进 行 
业务 的 初始 化 以 及 管理 相关 操作 。 


就 多 数 云 服务 消费 者 而 言 ， 除 从 云 服 务 提 供 者 那里 获取 到 的 IT 能 力 之 

外 ， 还 继续 拥有 其 传统 〈 非 云 计算 模式 ) IT 设 施 ， 这 使 得 云 服务 与 其 内 
部 既 有 的 IT 基础 设施 进行 集成 整合 至 关 重 要 ， 因 此 特别 需要 在 混合 云 的 
场景 下 引入 云 服务 集成 工具 ， 以 便 实 现 既 有 IT 设施 与 云 服 务 之 间 的 无 缝 
集成 、 能 力 调用 以 及 兼容 互通 。 


云 应 用 开发 者 


云 应 用 开发 者 负责 开发 和 创建 一 个 云 计 算 增值 业务 应 用 ， 该 增值 业务 应 
用 可 以 托管 在 云 平台 运营 管理 者 环境 内 运行 ， 或 者 由 云 租户 《服务 消费 
者 ) 来 运行 。 典 型 场景 下 云 应 用 开发 者 依托 于 云 平台 的 API 能 力 进行 增 
值 业 务 的 开发 ， 但 也 可 能 会 调用 由 BSS 和 OSS 系 统 负责 开放 的 云 管理 

API 能 力 《〈 云 应 用 开发 者 当然 也 可 能 选择 独立 构建 其 独立 于 云 平台 的 增 
值 业务 应 用 系统 的 BSS/OSS 系 统 ， 而 不 调用 或 重用 底层 的 云 管理 APD)。 


云 业务 开发 者 全 程 负责 云 增值 业务 的 设计 、 部 署 并 维护 运行 时 主体 功能 
及 其 相关 的 管理 功能 。 如 同 云 租户 / 云 业务 消费 者 以 及 云 业务 运营 提供 
者 一 样 ， 云 业务 开发 者 也 可 以 是 一 个 组 织 或 者 个 人 ， 比 如 一 个 开发 云 业 
务 的 ISV 开 发 商 是 一 个 云 业 务 开发 者 ， 其 内 部 可 能 包含 了 上 百 个 担任 不 






































同 细 分 技术 或 商业 角色 的 雇员 。 另 外 ， 负 责 云 业务 管 理 的 运 维 管理 人 员 
与 负责 开发 云 业 务 的 开发 组 织 紧密 集成 也 是 一 种 常见 的 角色 组 织 模式 
《比如 Google、Amazon、 百 度 等 自 营 加 目 研 的 Internet DevOps 服 务 
商 ) ， 这 是 提升 云 业 务 发 放 和 上 线 效率 的 一 种 行 之 有 效 的 措施 ， 因 为 此 
类 角色 合 一 的 模式 提供 了 更 短 的 问题 反馈 路 径 ， 使 得 云 业务 的 运营 效率 
有 了 进一步 实质 性 提升 。 


目前 云 计 算 业 务 开 发 者 在 公有 云 及 私有 云 领域 的 典型 应 用 包括 运营 商 虚 
拟 主机 出 租 与 托管 云 、 企 业内 部 IT 私有 云 或 专 有 云 、 桌 面 私有 云 、 运 营 
商 蝎 面 云 服 务 、 企 业 网 络 存储 与 备份 云 、 视 频 媒 体 处 理 云 、IDC Web 托 
管 及 CDN 云 以 及 大 数据 分 析 云 等 。 


云 服务 运营 者 /提供 者 


云 服 务 运营 者 /提供 者 承担 着 向 云 租户 /服务 消费 者 提供 云 服务 的 角色 ， 
云 服 务 运 营 者 /提供 者 概念 的 定义 来 源 于 其 对 OSS/BSS 管 理子 系统 拥有 和 直 
接 的 或 者 虚拟 的 运营 权 。 同 时 作为 云 服务 运营 者 以 及 云 服 务 消费 者 的 个 
体 ， 也 可 以 成 为 其 他 对 外 转 售 云 服 务 提供 者 的 合作 伙伴 ， 消 费 其 云 服 
务 ， 并 在 此 基础 上 加 入 增值 ， 并 将 增值 后 的 云 服务 对 外 提供 。 当 然 ， 云 
服务 运营 者 组 织 内 部 不 排除 有 云 业务 开发 者 的 可 能 性 ， 这 两 类 决策 既 可 
在 同一 组 织 内 共存 ， 也 可 相对 独立 进行 。 


云 设备 /物理 基础 设施 提供 者 


云 设 备 提供 者 提供 各 种 物理 设备 ， 包 括 服务 器 、 存 储 设 备 、 网 络 设备 、 
一 体 机 设备 ， 利 用 各 种 虚拟 化 平台 ， 构 筑 成 各 种 形式 的 云 服 务 平 台 ， 这 
些 云 服 务 平台 可 能 是 某 个 地 点 的 超大 规模 数据 中 心 ， 也 可 能 是 由 地 理 位 
置 分 布 的 区 域 数据 中 心 组 成 的 分 布 式 云 数 据 中 心 。 


云 设 备 提供 者 可 能 是 云 服 务 运营 者 /提供 者 ， 也 可 能 就 是 一 个 纯粹 的 云 
设备 提供 者 ， 他 将 云 设 备 租用 给 云 服 务 运营 者 /提供 者 。 


在 这 里 我 们 特别 强调 云 设 备 /物理 基础 设施 的 提供 者 必须 做 到 不 与 唯一 
的 硬件 设备 广 家 唯一 绑 定 ， 即 在 云 计 算 系 统 平台 责问 接 口上 所 谓 的 多 三 
家 人 硬件 的 寞 构 能 


接口 说 明 




















从 上 述 云 计 算 的 基础 上 下 文 描述 ， 我 们 不 难看 出 这 是 一 层 介 于 上 面 IT 应 
用 层 、 中 间 件 层 以 及 传统 数据 中 心 管理 控制 层 与 下 面 数据 中 心 物理 基础 
设施 层 之 间 的 一 层 软 件 。 从 宏观 的 数据 中 心 资源 池 整 合 的 视角 来 看 ， 我 
们 不 妨 称 之 为 云 操作 系统 (Cloud OS)。 


云 操作 系统 的 南 同 接口 IF4 回 下 屏 贡 底层 千差万别 的 物理 基础 设施 层 便 

件 的 厂家 差异 性 。 针 对 应 用 层 软 件 以 及 管理 软件 所 提出 的 基础 设施 资源 
诉求 ， 云 操作 系统 向 上 屏蔽 如 何在 一 个 超大 规模 的 逻辑 资源 池内 进行 调 
度 协同 的 细节 ， 并 在 北向 接口 IF1、IF2 和 IF3 为 上 层 软 件 及 特定 租户 提供 
一 个 归 一 化 、 标 准 化 的 基础 设施 服务 (IaaS) API 服 务 接口 。 在 云 操作 

系统 面向 云 运 营 和 管理 者 的 IF3 接 口 之 上 ， 除 了 面向 租户 (拥有 全 局 云 

资源 操作 权限 ) 的 基础 设施 资源 生命 周期 管理 API 之 外 ， 还 包括 一 些 云 

J API 无 法 覆盖 的 ， 面 向 基础 设施 资源 日 常 ODAM 的 操作 运 维 管理 API 

ls 


其 中 I 正 WIF2/IF3 接 口中 关于 云 租 户 感知 的 基础 设施 资源 生命 周期 管理 
API 的 典型 形态 为 Web RESTFUL 接 口 。IF4 接 口 为 业务 应 用 执行 平面 的 
x86 指 令 ， 以 及 基础 设施 人 硬件 特有 的 、 运 行 在 物理 主机 特定 类 型 OS 中 的 
管理 Agent， 或 者 基于 SSL 承 载 的 OS 命令 行 的 管理 连接 。IF3 接 口中 的 
OAM API 则 往往 采用 传统 IT 和 电信 网 管 中 被 广泛 采用 的 Web 
RESTFUL、SNMP、CORBA 等 接口 。 

















212 支 计 复 平 合 赣 松 


如 本 书 前 言 所 述 ，I 开 架构 的 演讲 经 历 了 “ 合 "、“ 分 ”、“ 合 ”三 个 阶段 ， 如 
图 2-2 所 示 。 


会 
合 分 合 
用 共享 封闭 的 软 硬 件 系统 应 用 绑 定 服务 器 服务 器 骆 储 /网 络 聚合 而 成 的 “去 计算 机 ” 
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图 2-2 ”开架 构 演 进 路 径 


回顾 企业 IT 染 构 演进 的 整个 历史 ， 我 们 不 难看 到 ， 冯 : 诺 依 曼 染 构 的 第 

















一 合计 算 机 诞生 以 来 的 前 30 年 ， 计 算 高 度 集中 化 、 文 持 多 用 户 多 任务 的 
大 型 机 和 小 型 机 是 企业 开 的 主流 形态 ， 构 成 IT 系统 的 软 便 件 堆栈 各 层 之 
间 缺 少 统一 的 工业 标准 ， 呈 现 出 内 聚 与 厢 合 的 特征 ， 仅 少数 厂家 拥有 提 
供 端 到 亲 高 度 复杂 化 的 开 系 统 软 人 硬件 的 能 力 。 那 个 时 代 的 开 系 统 造 价 高 
昂 ， 往 往 是 少数 高 端 企业 才能 拥有 的 “奢侈 品 ”。 


于 是 ，20 世 纪 80 年 代 ， 以 x86 服 务 器 和 PC 系统 的 诞生 为 标志 ， 企 业 IT 系 
统 迎 来 了 第 二 次 里 程 碑 式 的 变革 : 从 All in One、 全 封闭 的 软 硬 件 栈 走 
向 水 平分 层 的 网 络 、 存 储 、 服 务 器 、 操 作 系 统 、 中 间 件 、 应 用 层 等 多 层 
次 水 平分 工 的 架构 ， 各 层 之 间接 口 标准 化 、 规 范 化 ， 极 大 地 简化 了 每 一 
层 的 技术 复杂 度 ， 各 层 IT 产 业 链 获得 了 大 索 薪 与 大 发 展 ， 消 现 出 一 批 优 
夯 的 专业 化 三家， 聚焦 于 提供 该 领域 内 质量 最 佳 的 产品 和 解决 方案 ，IT 
系统 终于 开始 走 入 “寻常 百姓 家 ”。 


然而 ， 所 谓 “ 物 极 必 反 ”， 当 这 个 架构 分 层 发 展 到 一 定 阶 段 ， 整 端 逐步 显 
现 。 由 于 企业 IT 的 层次 太 多 ， 各 层 之 间 集 成 交付 的 难度 越 来 越 大 ， 尤 其 
征 当今 企业 软件 应 用 已 从 单一 实例 应 用 ， 迅 速 走 癌 大 规模 分 布 式 应 用 ， 
一 个 关键 业务 的 部 署 往 往 需 要 涉及 服务 器 、 网 络 、 存 储 等 各 方面 基础 设 
施 资 源 的 协同 配合 ， 使 得 业务 驱动 的 基础 设施 层 服 务 器 、 存 储 、 网 络 资 
源 的 集成 管理 配置 和 按 需 供给 往往 成 为 影响 企业 IT 快速 啊 应 企业 业务 需 
求 的 关键 制约 因素 。 同 时 软 硬 件 各 层 的 开发 虽然 实现 了 解 耦 ， 但 部 着 和 
运行 态 仍然 是 软 便 件 耘 合 绑 定 的 关系 ， 因 此 路 服务 咒 的 资源 出 现 忙 末 不 
均 时 ， 依 旧 无 法 有 效 利 用 IT 资源 。 


随 着 企业 信息 化 进程 的 不 断 推进 ， 企 业 IT 系 统 的 使 用 者 和 维护 者 们 逐渐 
发 现 ， 分 层 架 构 体 系 也 存在 着 诸多 兹 病 : 


” 软 人 硬件 开 肥 态 解 烽 ， 但 部 署 和 运行 态 并 未 解 精 ; 


0 
? 局 ] ; 


” 企业 信息 化 的 重心 回 软 件 转移 ， 但 计算 、 存 储 、 网 络 硬件 弹性 
OE 
因素 。 


在 代 架 构 演进 的 第 三 阶段 ， 为 实现 云 计 算 梦 想 ， 首 先 需 要 把 所 有 工 基 础 





























设施 资源 都 高 度 集中 化 到 一 个 数据 中 心 去 ， 通 过 云 OS 整 合成 为 一 合 超 
大 规模 计算 机 ， 然 后 再 按照 每 个 租户 的 需求 将 资源 动态 切 分 提供 给 每 个 
用 户 。 于 是 从 总 体 染 构 上 我 们 及 现 了 一 个 有 趣 的 现象 ， 我 们 的 开 基 础 设 
施 染 构 经 历 了 一 个 从 合 、 到 分 、 再 到 合 的 过 程 。 大 型 机 时 代 ， 很 多 应 用 
实例 跑 在 封闭 的 平台 之 上 ， 用 户 只 能 通过 哑 终 端 去 访问 集中 的 计算 资 
源 。 到 20 世 纪 80 年 代 ， 应 用 分 布 在 多 个 处 理 能 力 相对 较 弱 的 处 理 单元 
上 。 进 入 当前 的 云 计 算 年 代 ， 计 算 资 源 义 重新 回归 整合 ， 只 不 过 不 是 封 
闭 的 硬件 整合 ， 而 是 基于 松 耦 合 独立 节点 网 络 连接 ， 以 及 统一 逻辑 调度 


管控 的 整合 。 


“天 下 大 势 ， 合 久 必 分 ， 分 久 必 合 ”。IT 基 础 设施 架构 从 合并 、 分 离 并 重 
新 走向 融合 ， 借 助 虚 拟 化 及 分 布 式 云 计 算 调 度 管理 软件 ， 将 IT 基础 设施 
整合 成 为 一 个 规模 超大 的 “ 云 计 算 机 ”， 相 当 于 建成 了 一 座 “ 基 础 设施 电 
厂 ”。 多 个 租户 可 以 从 这 座 电 厂 中 随时 随地 获取 到 其 所 需 的 资源 。 云 计 
0 
能 与 用 户 体 验 。 


然而 ， 历 史 总 是 在 螺旋 式 前 进 的 ,“ 云 计算 机 ?看 似 大 型 机 ， 但 绝 非 简单 
回 到 了 大 型 机 时 代 。 


”~ 区 别 1: 架构 不 同 ， 规 模 扩 展 能 力 不 同 
由 “垂直 扩展 ”到 “横向 扩展 ”*， 计算 处 理 能 力 、 存 储 容量 、 网 络 吞 吐 能 
力 、 租 户 / 应 用 实例 数量 均 相 差 n 个 数量 级 以 上 ， 从 硬件 成 本 视角 来 看 ， 
TCO 成 本 也 较 低 。 

> 区 别 2: 硬件 依赖 性 不 同 ， 生 态 链 、 开 放 性 不 同 
由 “硬件 定义 ”到 “软件 定义 ?>， 早 期 的 IT 系统 ， 少 数 硬件 厂家 绑 定 OS 和 软 
件 ， 开 只 是 少数 用 户 的 奢侈 品 。 在 新 的 时 代 ， 通 过 软件 屏蔽 异 构 硬 件 差 
异性 ， 在 同一 个 硬件 平台 上 可 以 运行 来 自 多 个 不 同 厂 家 的 软件 和 OS。 
新 时 代 的 代 生 态 链 更 加 繁荣 ，IT 成 为 人 人 消费 得 起 的 日 用 品 。 

> 区 别 3: 可 靠 性 保障 方式 不 同 


其 由 “时 机 硬件 器 件 级 的 见 余 实现 可 徘 性 ”发 展 到 “依赖 分 布 式 软件 和 故 
障 处 理 自动 化 实现 可 靠 性 (甚至 文 持 地 理 级 容 灾 ) 。 




















” 区别 4: 资源 接 入 方式 不 同 


将 IT 基础 设施 能 力 比 做 “电力 ?， 大 型 机 内 能 专线 接 入 ， 是 只 能 服务 于 少 
数 人 群 的 “发 电机 ””， 基 于 企业 以 太 网 或 者 互联 网 的 开放 接 入 ， 可 以 为 更 
多 的 人 群 提供 服务 的 “发 电站 ”和 “ 配 电网 ”。 


000 0 00 0 
际 要 。 








中 闻 件 服务 层 











非 结构 化 / 半 结 构 化 数据 服务 


Coser Le] [ae 
Map- Reduc 


数据 服务 层 











资源 服务 与 
调度 层 














理 j 
入 证 蚀 ! 
LL 















软件 定义 存储 
. [Cawe ] [waape] 
Cree 


软件 定义 计算 


忆 


虚拟 资源 层 
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图 2-3 ” 云 计算 数据 中 心 解 决 方案 端 到 端 总 体 分 层 架 构 




















物理 资源 层 


所 有 文 撑 IaaS 层 的 IT 基础 设施 硬件 包括 服务 器 、 存 储 〈 传 统 RAID 架 构 垂 
直 扩 展 的 Scale-up 存 储 ， 以 及 基于 服务 器 的 分 布 式 水 平 扩展 的 Scale-onut 
存储 ) 、 数 据 中 心 交 换 机 《〈 柜 项、 汇聚 以 及 核心 交换 ) 、 防 火 墙 、 VPN 
网 关 、 路 由 器 等 网 络 安全 设备 。 


虚拟 资源 层 


虚拟 资源 层 在 云 计 算 染 构 中 处 于 最 为 关键 与 核心 位 置 。 该 层次 与 “资源 
服务 与 调度 层 ” 一 道 ， 通 过 对 来 自 上 层 操作 系统 及 应 用 程序 对 各 类 数据 
中 心 基础 设施 在 业务 执行 和 数据 平面 上 的 资源 访问 指令 进行 “截获 "。 指 
令 和 数据 被 截获 后 进行 “小 聚 大 ”的 分 布 式 资源 聚合 处 理 , “大 分 小 ”的 虚 
拟 化 隔离 处 理 ， 以 及 必要 异 构 资 源 适 配 处 理 。 这 种 处 理 可 以 实现 在 上 层 
操作 系统 及 应 用 程序 基本 无 需 感知 的 情况 下 ， 将 分 散在 一 个 或 多 个 数据 











中 心 的 数据 中 心 基 础 设施 资源 统一 虚拟 化 与 池 化 。 


在 茶 种 程度 上 ， 对 于 应 用 软件 的 支撑 关系 ， 虚 拟 资源 层 对 于 上 层 虚 拟 机 
〈 合 操作 系统 及 应 用 程序 ) 的 作用 与 操作 系统 是 类 似 的 ， 实 质 上 都 是 在 
多 道 应 用 作业 实例 与 后 层 的 物理 资源 设备 或 者 设备 集群 之 间 进 行 时 分 和 
空 分 的 调度 ， 从 而 让 每 道 作 业 实 例 都 “感觉 "到 上 自己 是 在 独占 相关 资源 ， 
而 实际 上 资源 在 多 个 作业 实例 之 间 的 复杂、 动态 的 复 用 调度 机 制 完 全 被 
虚拟 资源 层 屏 蔽 。 技 术 实 现 的 主要 困难 与 挑战 在 于 ， 操 作 系 统 的 管理 
API 是 应 用 程序 感知 的 ， 而 虚拟 资源 层 则 必须 做 到 上 层 操作 系统 与 应 用 
程序 的 “无 感知 ”， 同 时 对 于 频 索 的 指令 级 陷入 和 仿真 调度 助力 ， 做 到 令 
上 层 应 用 及 OS 可 接受 的 性 能 开销 。 


虚拟 资源 层 包 括 三 个 部 分 ， 具 体 如 下 。 
(1) 计算 虚拟 化 


所 有 计算 应 用 ( 含 OS) 并 非 直 接 承 载 在 硬件 平台 上 ， 而 是 在 上 层 软 件 

与 裸 机 硬件 之 则 插入 一 层 弹 性 计算 资源 管理 及 虚拟 化 软件 弹性 计算 资 
源 管理 软件 对 外 负责 提供 弹性 计算 资源 服务 管理 API， 对 内 负责 根据 用 
户 请 求 调度 分 配 具 体 的 物理 机 资源 ; 虚拟 化 软件 〈Hypervisor) 对 所 有 
的 x86 指 令 进 行 截获 ， 并 执行 不 为 上 层 软 件 ( 含 OS) 所 知 的 多 道 执行 环 
境 并 行 的 “仿真 操作 ”， 使 得 从 每 个 上 层 软 件 实例 的 视角 来 看 ， 其 仍然 独 
占 底层 的 CPU、 内 存 以 及 IO 资源 〈 见 图 2-4) ; 而 从 虚拟 化 软件 的 视角 
来 看 ， 则 是 将 裸 机 硬件 在 多 个 客户 机 (VM) 之 间 进 行 时 间 和 空间 维度 
的 穿插 共享 (时 间 片 调度 ，LIO 多 队列 模拟 等 ) 。 由 此 可 见 ， 计 算 虚 拟 

化 引擎 本 映 是 一 层 介 于 0OS 与 硬件 平台 中 间 的 附加 软件 层 ， 因 此 将 不 可 

避免 地 带 来 性 能 上 的 损耗 。 然 而 随 着 云 计算 规模 商用 阶段 的 到 来 ， 以 及 
计算 虚拟 化 的 进一步 广泛 普及 应 用 ， 越 来 越 多 的 计算 性 能 敏感 型 和 事务 
型 的 应 用 逐步 从 物理 机 平台 迁移 到 虚拟 化 平台 之 上 ， 因 此 对 进一步 降低 
人 典型 的 增强 技术 包括 以 下 

容 。 
































“虚拟 化 环境 下 更 高 的 内 存 访 问 效 率 : 应 用 感知 的 大 内 存 业 务 映 
冉 技 术 ， 通 过 该 技术 ， 可 有 效 提升 从 虚拟 机 线性 逻辑 地 址 到 最 终 物 
理 地 址 的 映射 效率 。 


“虚拟 化 环境 下 更 高 的 CPU 指令 执行 效率 : 通过 对 机 器 码 指令 执 
行 的 流程 进行 优化 扫描 ， 通 过 将 相 邻 执行 代码 段 中 的 “特权 ?指令 所 





触发 的 <VM_Exit* 虚 拟 化 仿真 操作 进行 基于 等 效 操作 的 “合并 "， 从 
容 达到 在 短 时 间 内 被 频繁 反复 地 执行 。 由 于 每 次 VM_Exit 上 下 文 进 
入 和 退出 的 过 程 都 需要 涉及 系统 运行 队列 调度 以 及 运行 环境 的 保存 
和 和 恢复， 地 将 多 次 上 下 文 切换 合并 为 一 次 切换 ， 从 而 达到 提升 运 和 
效率 的 目的 。 





” 虚拟 化 环境 下 更 高 的 HO 和 网 络 包 收 发 处 理 效率 : 多 个 虚拟 机 在 
一 个 物理 机 内 需要 共享 相同 的 物理 网 卡 进行 网 络 包 收 发 处 理 ， 从 而 
有 效 减 少 中 断 处 理 带 来 的 开销 ; 在 网 络 及 IO 发 包 过 程 中 ， 通 过 将 
小 尺寸 分 组 包 合 并 为 更 大 尺寸 的 分 组 包 ， 可 以 减少 网 络 收 发 接受 端 
的 中 断 次 数 ， 从 而 达到 提升 虚拟 机 之 间 网 络 否 吐 率 的 目的 。 


> ”更 高 的 RAS 可 靠 性 保障 ， 针 对 云 计算 所 面临 的 电信 领域 网 络 及 
业务 云 化 的 场景 ， 由 于 硬件 故障 被 虚拟 化 层 屏蔽 了 ， 使 得 物理 硬件 
的 故障 无 法 像 在 传统 物理 机 运行 环境 那样 直接 被 传送 通知 给 上 层 业 
务 软件 ， 从 而 导致 上 层 业务 层 无 法 对 故障 做 出 秒 级 以 内 的 及 时 响 
应 ， 比 如 业务 层 的 倒 换 控制 ， 从 而 降低 了 对 整体 的 可 靠 性 水 平 。 如 
何 感知 上 层 的 业务 要 求 ， 快 速 进行 故障 检测 和 故障 恢复 ， 保 证 业务 
不 中 断 ， 这 给 计算 虚拟 化 带 来 了 新 的 挑战 。 





计算 虚拟 化 Hypervisor 
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图 2-4 计算 虚拟 化 硬件 接口 








(2) 存储 虚拟 化 


随 着 计算 虚拟 化 在 各 行业 数据 中 心 的 普遍 采用，x86 服 务 器 利用 效率 已 
得 到 提升 ， 人 们 发 现 ， 存 储 资源 的 多 广 家 异 构 管 理 复 洒 ， 平 均 资 源 利用 
效率 低下 ， 甚 至 在 IO 吞吐 性 能 方面 无 法 有 效 文 撑 企 业 关 键 事务 及 分 析 
应 用 对 存储 性 能 提出 的 挑战 ， 通 过 对 所 有 来 自 应 用 软件 层 的 存储 数据 面 
的 VO 读 写 操作 指令 进行 “截获 ”， 建 立 从 业务 应 用 视角 和 窗 盖 不 同 厂 家 、 
不 同 版 本 的 异 构 硬 件 资源 的 统一 的 API 接 口 ， 进 行 统一 的 信息 建 模 ， 使 
得 上 层 应 用 软件 可 以 采用 规范 一 致 的 、 与 确 层 具体 硬件 内 部 实现 细节 解 
厢 的 方式 访问 底层 存储 资源 。 


除去 带 来 硬件 异 构 、 应 用 软件 与 硬件 平台 解 看 的 价值 外 ， 其 还 可 以 通 

过 “存储 虚拟 化 * 层 内 对 多 个 对 等 的 分 布 式 资 源 节点 的 聚合 ， 实 现 该 资源 
的 “小 聚 大 ”。 比 如 ， 将 多 个 存储 /硬盘 整合 成 为 一 个 容量 可 无 极 扩展 的 超 
大 〈EB 级 规模 ) 的 共享 存储 资源 池 。 由 此 可 以 看 到 ， 存 储 虚拟 化 相对 

计算 虚拟 化 最 大 的 差别 在 于 : 其 主要 定位 是 进行 资源 的 “小 聚 大 ”， 而 

非 “ 大 分 小 ”>。 原 因 在 于 ， 存 储 资 源 的 “大 分 小 ”在 单机 和 SAN/NAS 独 立 存 
储 系统 存储 ， 乃 至 在 文件 系统 中 通过 LUN 划 分 及 疮 配置 已 经 天 然 实 现 

了 ， 人 然而 随 着 企业 IT 与 业务 数据 的 爆炸 式 增 长 ， 需 要 实现 高 度 刷 平 化 、 
归 一 化 和 连续 空间 ， 路 越 多 个 六 家 服务 器 及 存储 设备 的 数据 中 心 级 统一 
存储 ， 即 “小 聚 大 ”。 存 储 “ 小 聚 大 ”的 整合 正在 日 蔓 凸 显 出 其 不 可 蔡 代 的 
关键 价值 〈 见 图 2-5) 。 


” 局 性 能 分 布 式 存储 引擎 : 伴随 厦 云 计算 系统 文 撑 的 IT 系统 越 来 
越 大 ， 履 盖 范 围 从 不 同 服务 器 存储 节点 ， 到 分 布 在 不 同 地 理 区 域 的 
数据 中 心 ， 这 残 需 要 有 一 个 分 布 式 存储 引擎 。 这 个 引擎 ， 能 满足 融 
帝 宽 、 高 IO 等 各 种 场景 要 求 ， 能 很 好 地 进行 帝 宽 的 扩展 。 















































” 存储 异 构 能 力 : 如 何 利 日， 将 不 同 广 家 原 有 的 独立 SAN、NAS 
设备 组 合成 一 个 大 的 存储 资源 池 ， 也 是 软件 定义 存储 中 需要 解决 的 
问题 。 

” 存储 秋 载 : 传统 的 企业 存储 系统 采用 各 种 各 样 的 存储 软件 ， 这 


些 软件 存储 操作 对 存储 IO 和 CPU 资源 均 有 较 大 消耗 ， 会 影响 用 户 
业务 性 能 的 发 挥 。 因 此 如 何 将 存储 操作 标准 化 ， 然 后 将 存储 操作 利 


用 茶 些 标准 的 硬件 动作 去 代 蔡 ， 这 就 是 存储 凤 载 。 
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图 2-5 存储 虚拟 化 硬件 接口 





(3) 网 络 虚 拟 化 


站 在 操作 系统 角度 ，OS 管 理 的 资源 范畴 仅仅 是 一 台 服 务 器 ， 而 Cloud 

OS 管理 的 资源 范畴 扩展 到 了 整个 数据 中 心 ， 甚 至 将 跨越 多 个 由 广域网 

物理 或 者 逻辑 专线 连接 起 来 的 数据 中 心 。 在 一 台 服 务 嚣 内， 核心 CPU、 
内 存 计算 单元 与 周边 WO 单元 的 连接 一 般 通 过 PCI 总 线 以 主 从 控制 的 方式 
来 完成 ， 多 数 管理 细节 被 Intel CPU 硬件 及 主板 厂家 的 总 线 驱 动 所 屏蔽 ， 
且 PCI LO 设备 的 数量 和 种 类 有 限 ， 因 此 OS 软 件 层 面 对 于 IO 设备 的 管理 
是 比较 简单 的 。 相 对 而 言 ， 在 一 个 具备 一 定 规模 的 数据 中 心 内 ， 甚 至 多 
个 数据 中 心 ， 各 计算 、 存 储 单元 之 间 以 完全 点 对 点 的 方式 进行 松 耦 合 的 
网 络 互 联 。 云 数据 中 心 之 上 承载 的 业务 种 类 众多 ， 各 业务 类 型 对 于 不 同 
计算 单元 〈 物 理 机 、 虚 拟 机 ) 之 间 ， 计 算 单 元 与 存储 单元 之 间 ， 疙 至 不 
同安 全 层次 的 计算 单元 与 外 部 开放 互联 网 和 内 部 企业 网 络 之 间 的 安全 隔 
离 及 防护 机 制 ， 要 求 动态 实现 不 同 云 租户 之 间 的 安全 隔离 。 云 数据 中 心 
还 要 满足 不 同 终端 用 户 不 同 场景 的 业务 组 网 要 求 以 及 他 们 的 安全 隔离 要 














求 。 因 此 ， 云 操作 系统 的 复杂 性 将 随 着 云 租户 及 租户 内 物理 机 和 虚拟 机 
实例 的 数量 增长 呈现 几何 级 数 的 增长 ， 由 业务 应 用 驱动 的 数据 中 心 网 络 
虚拟 化 和 目 动 化 就 变 得 势 在 必 行 和 不 可 或 缺 。 为 了 实现 彻底 与 现 有 物理 
硬件 网 络 解 耦 的 网 络 虚 拟 化 与 目 动 化 ， 唯 一 的 途径 与 解决 方案 就 是 
SDN《 即 所 谓 软 件 定 义 的 网 络 ) ， 即 构建 出 一 个 与 物理 网 络 完全 独立 的 
登 加 式 逻 辑 网 络 ， 其 主要 部 件 以 及 相关 技术 包括 以 下 几 个 方面 。 








“~ SDN 控 制 器 : 这 是 软件 定义 网 络 的 集中 控制 模块 ， 负 责 云 系统 
中 网 络 资源 的 目 动 发 现 和 池 化 ， 根 据 用 户 需求 分 配 网 络 资源 ， 控 制 
云 系 统 中 网 络 资源 的 正常 运行 。 


” 虚拟 交换 机 : 根据 SDN 控 制 占 创建 出 虚拟 交换 机 实例 。 可 以 对 
0 
和 使 用 。 


” 虚拟 路 由 器 : 根据 SDN 控 制 占 创建 出 虚拟 路 由 器 实例 。 可 以 对 
0 


” 虚拟 业务 网 天 :; 根据 用 户 业 务 的 申请 ， 由 SDN 控 制 器 创建 出 的 
虚拟 业务 网 关 实 例 ， 提 供 虚 拟 防火 增 的 功能 。 可 以 对 这 个 虚拟 业务 
网 关 进 行 组 网 的 设计 、 参 数 的 设置 ， 一 如 对 物理 业务 网 关 的 使 用 。 


” 虚拟 网 络 建 模 : 面 对 如 此 复杂 多 变 的 组 网 ， 如 何 既 保证 网 络 的 
有 效 区 分 和 管理 ， 又 保证 交换 和 路 由 的 效率 ， 此 时 需要 一 个 有 效 的 
建 模 方 法 和 评估 模型 ， 虚 拟 网 络 建 模 技术 能 提前 预知 一 个 虚拟 网 络 
的 运行 消耗 、 效 率 和 安全 性 。 虚 拟 网 络 建 模 可 以 做 成 一 个 独立 功能 
库 ， 在 需要 的 时 候 月 动 ， 以 减少 对 系统 资源 的 占用 。 


资源 服务 与 调度 层 


相对 虚拟 化 层 在 业务 执行 面 和 数据 面 上 “资源 聚合 与 分 割 仿真 ”， 该 层次 
主要 体现 为 管理 平面 上 的 “ 远 辑 资源 调度 ”。 


由 于 多 个 厂家 已 经 投入 到 云 计算 的 研发 和 实施 中 ， 不 可 避免 地 有 多 种 实 
现 方式 ， 而 要 实现 云 计算 真正 的 产业 化 并 被 广泛 使 用 ， 各 三 家 的 云 计算 
平台 必须 能 够 互相 交互 ， 即 进行 接口 标准 化 。 接 口 标准 化 后 ， 主 流 的 虚 











拟 化 平台 (例如 Hyper-V、KVM、UVP、ESX 等 ) 之 间 能 够 互相 兼容 ， 
各 个 人 硬件 三 家 或 者 中 间 件 三 家 可 以 自由 选择 虚拟 化 内 核 。 


在 云 计 算 新 的 发 展 阶段 中 ， 面 癌 公 有 云 、 面 对 国际 化 公司 的 分 布 式 云 系 
统 将 是 重点 ， 这 将 引发 对 超大 资源 的 分 配 和 调度 。 在 整个 云 计 算 的 实现 
架构 上 上， 计算、 存储 、 网 络 资源 的 分 配 和 使 用 将 走 回 专业 化 。 这 是 因为 
根据 性 质 的 不 同 ， 云 应 用 业务 对 计算 、 存 储 、 网 络 资源 的 需求 可 能 是 不 
一 样 的 ， 例 如 对 于 呼叫 中 心 业务 ， 其 偶 癌 于 计算 资源 使 用 ， 而 对 于 网 盘 
业务 ， 则 偶 癌 于 存储 资源 使 用 。 在 这 种 情况 下 ， 为 了 更 有 效 地 利用 资 

源 ， 给 业务 层 提供 基本 资源 调用 API 是 最 好 的 选择 ， 将 计算 、 存 储 、 网 
络 资源 作为 基本 资源 单位 ， 提 供 统一 的 资源 调用 接口 ， 让 云 业 务 开发 者 
目 己 选择 如 何 高 效 地 使 用 这 些 资源 。 这 些 API 包 括 以 下 几 个 方面 。 











” 弹性 计算 资源 调用 API: 计算 资源 包括 CPU 和 内 存 ， 云 计算 平 
台 根 据 云 运营 商 的 要 求 ， 已 经 将 CPU 和 内 存 虚拟 化 和 池 化 。 系 统 提 
供 资源 的 动态 申请 、 释 放 、 故 障 检测 、 陋 离 和 自动 切换 功能 ， 做 到 
业务 不 感知 。CPU 资 源 又 可 以 分 为 纯 计 算 型 、 图 像 处 理 型 等 不 同类 
型 ， 不管 是 CPU 还 是 内 存 ， 都 提供 瘦 分 配 功能 ， 资 源 的 自动 伸缩 保 
证 在 低 业 务 量 时 减少 资源 的 消耗 ， 高 业务 量 时 开启 所 有 物理 资源 ， 
确认 业务 的 高 效 运 行 。 计 算 资 源 API 还 需要 提供 集群 能 力 。 





” 弹性 存储 资源 调用 API: 存储 资源 API 提 供 文 件 或 者 卷 接口 ， 除 
人 
天 键 方面 。 


异 构 资 源 的 池 化 : 不 同 的 广 家 在 将 存储 资源 池 化 后 ， 提 供 统一 的 

API， 一 个 厂家 可 以 利用 这 些 API， 将 不 同 厂家 的 存储 资源 池 构 成 

一 个 大 的 资源 池 ， 然 后 再 封装 出 API 供 业务 调用 。 

存储 资源 的 分 层 分 级 存储 : 因 业 务 性 能 要 求 的 不 同 ， 分 层 存储 是 一 
个 常用 的 技术 ， 业 务 系统 在 申请 存储 资源 的 时 候 ， 可 以 选择 是 否 使 
用 这 个 特性 。 

内 存 存储 资源 的 支持 : 未 来 的 系统 ， 内 存 一 定 会 成 为 主 存 ， 所 有 的 
存储 ， 除 非 一 些 特别 重要 的 信息 ， 基 本 上 不 再 需要 存 入 非 易 失 性 介 
质 ; 而 使 用 内 存 资 源 作为 主 存 ， 可 靠 性 是 关键 要 求 ， 在 构造 内 存 存 
储 池 的 时 候 ， 可 靠 性 必须 贯彻 始终 ， 确 保 每 个 内 存 存储 有 备份 ， 或 
者 确保 内 存 存储 有 可 靠 的 UPS 保 护 。 




















” 弹性 网 络 资源 调用 API: 网 络 资源 API 的 基本 功能 包括 资源 的 申 
请 、 释 放 、 监 控 、 故 障 隔离 和 恢复 等 ， 需 要 考虑 异 构 资 源 的 统一 
化 。 


数据 服务 层 


数据 服务 层 是 辣 加 在 基础 设施 服务 之 上 的 ， 具 备 多 租户 感知 能 力 的 结构 
化 、 半 结构 化 及 非 结 构 化 数据 服务 能 


弹性 资源 层 和 数据 服务 层 的 一 些 紧 密 接 口 的 实现 ， 提 局 数据 存储 
J] 驳 准 : O 


” 结构 化 数据 服务 : 结构 化 数据 服务 子 层 提供 对 结构 化 数据 的 存 
储 和 处 理 功能 ， 它 通过 车 加 各 种 结构 化 数据 库 软 件 来 实现 ， 例 如 常 
见 的 Oracle\Sybase\HANA 等 。 为 提高 处 理 效 率 ， 弹 性 存储 资源 调度 
层 会 针对 不 同 的 基于 磁盘 或 者 基于 内 存 的 数据 库 ， 提 供 更 高 效 的 存 
储 资 源 调 用 API， 例 如 面 同 HANA 内 存 数 据 库 ， 提 供 内 存 专用 的 存 
储 资源 调用 API 接 口 。 














~ 非 结 构 化 数据 服务 : 这 个 子 层 主要 是 登 加 和 常见 的 No SQL 数据 库 
的 功能 模块 ， 例 如 Map-reduce、HBase 等 ， 提 供 弹 性 存储 资源 的 特 
丈 接口 。 


”= 流 数 据 服 务 : 流 数据 服务 更 多 地 涉及 对 特殊 CPU 资源 和 专用 心 


片 资源 的 使 用 ， 在 弹性 计算 资源 API 中 提供 一 些 专用 接口 ， 来 进行 

流 数据 的 高 效 输入 、 压 缩 /解压 缩 、 处 理 和 转发 。 

云 管理 层 
除 挤 上 面 各 子 系统 之 外 ， 云 管理 层 还 有 纵 癌 拉 通 云 平台 各 服务 层 及 子 系 
统 的 云 管理 子 系统 ， 负 责 端 到 问 云 计算 服务 实例 的 创建 发 放 ， 生 命 周 期 
党 理 ， 服 务 SLA 水 平 保障 ， 云 计算 数据 中 心 物 理 及 虚拟 化 平台 基础 设 
施 ， 以 及 平台 基础 设施 与 上 层 业 务 关 联 的 FCAPS 日 常 操作 与 维护 业务 。 


管理 与 传统 电信 的 OSS/BSS 系 统 的 最 大 差异 在 于 其 多 种 不 同 横 问 与 纵 
问 资 源 整 合 的 全 目 动 化 、 乔 能 化 的 支持 。 


中 间 件 服务 层 














为 提供 一 些 基 础 服务 ， 系 统 在 某 些 场景 下 还 需要 做 一 些 适 配 服务 ， 例 
如 ， 提 供 果 面 云 时 ， 需 要 提供 加 面 云 相 关 的 应 用 协议 、 呆 面 应 用 的 调度 
等 ; 面 癌 不 同业 务 群 提供 大 数据 服务 时 ， 需 要 做 一 些 应 用 的 适 配 。 


2.2” 云 计算 架构 的 关键 技术 


相对 于 云 计 算 初 级 阶段 以 探索 和 试用 为 特征 的 非 互 联网 领域 及 行业 的 基 
础 设施 云 资源 池 建 设 ， 新 阶段 云 计 算 基 础 设施 云 化 已 步 入 大 规模 集中 化 
建设 的 阶段 ， 需 要 云 操作 系统 (Cloud OS) 必须 具备 对 多 地 多 数据 中 心 
内 异 构 多 厂家 的 计算 、 存 储 以 及 网 络 资源 的 全 面 整 合 能 力 ， 因 此 有 如 下 
一 些 关键 技术 和 算法 。 














我 们 说 希望 能 像 用 水 用 电 一 样 的 方式 去 使 用 IT 资 源 ， 那 么 开 资 源 的 供给 
就 需要 许多 类 似 于 大 大 小 小 的 水 广 / 电 广 的 IT 资源 工矿， 这 就 是 我 们 所 
说 的 代数 据 中 心 。 


以 水 厂 为 例 ， 其 实 我 们 有 各 种 大 小 的 水 库 ， 有 时 候 为 了 供给 一 个 大 城 
市 ， 我 们 会 通过 复杂 的 管道 ， 将 某 些 江河 或 某 些 水 库 引入 城市 边 上 的 大 
水 库 。 训 是 说 ， 这 个 供水 系统 是 一 个 复杂 的 网 络 系统 ， 需 要 有 良好 的 于 
Ws 


可 以 看 到 ， 尺 管 我 们 家 家 户 户 使 用 的 自来水 没有 什么 差别 ， 但 实际 上 他 
们 是 来 自 于 不 同 的 水 三 。 每 个 水 三 都 可 能 过 到 自己 的 枯水期 ， 使 用 这 些 
水 三 水 资源 的 客户 可 能 面临 缺 水 的 问题 ， 就 是 说 ， 水 的 供应 并 不 是 无 限 
制 的 。 对 应 地 ， 其 实 我 们 需要 的 全 资源 也 并 不 是 无 限制 供给 的 ， 它 是 由 
后 面 大 大 小 小 的 IT 数据 中 心 的 能 力 决 定 的 。 当 然 ， 为 了 应 对 一 些 大 企业 
的 开 资 源 要 求 ， 我 们 需要 将 异地 的 开 数 据 中心 进 行 联网 设计 ， 组 成 一 个 
大 的 开 资 源 池 来 给 大 客户 使 用 ， 此 时 ， 这 个 大 资源 池 的 组 成 技术 、 调 度 
技术 都 是 关键 技术 ， 包 括 以 下 三 个 方面 。 


1. 计算 资源 调度 算法 
00866 5065 





在 一 个 分 布 式 的 数据 中 心情 况 下 ， 计 算 虚 拟 化 部 分 负 贡 IL2~L5 调 度 ， 
以 虚拟 机 《〈 含 OS 及 应 用 软件 /中 间 件 ) 为 基本 调度 单元 ， 完 成 指定 虚拟 
机 实例 或 者 虚拟 机 集群 到 整个 云 数 据 中 心计 算 资源 池内 最 合适 的 物理 机 
或 者 物理 机 集群 的 映射 “〈 见 图 2-6) 。 
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L3 | 跨 物 理 机 调度 


L2 | 跨 虚 拟 机 调度 
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图 2-6 超大 规模 数据 中 心 调度 
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初始 分 配 调度 及 动态 规划 
典型 的 调度 算法 : 首次 匹配 、 负 载 均 衡 、 轮 转 指针 等 ， 可 统一 规划 为 运 
筹 学 的 线性 规划 NP 求 最 优 解 /次 优 解 的 问题 ， 约 束 条 件 及 目标 函数 均 可 
按 需 进行 集 略 配置 。 
资源 弹性 分 配 的 问题 域 


资源 弹性 分 配 的 限定 条 件 有 下 面 6 个 表达 式 ， 如 图 2-7 所 示 。 





Vih 0<y,,<e (3) 
Vi yy (4) 
Vh,j Sr(ya(1-6,)ted)] (5) 
Vi Vy $+Y(1-$) (6) 





图 2-7 ”资源 弹性 分 配 
其 中 各 变量 的 含义 如 下 。 

i=1......N ， 表 示 服 务 请 求 数量 。 

h =1...…... 且 ， 表 示 每 个 集群 中 同 质 物 理 服 务 器 的 数量 。 

fw d ， 表 示 每 个 服务 堪 提 供 的 资源 类 型 数量 〈 例 如 CPU、RAM、 


导入 
市 宽 等 ) 。 


R ,表示 第 i 个 服务 请 求 对 资源 类 型 j 的 资源 需求 量 ， 这 个 值 在 0O 和 1 之 间 ， 
表示 资源 的 满足 程度 。 

6 , 表示 R , 是 否 为 固定 资源 请 求 类 型 ， 取 值 0 或 者 1。 如 果 R , 是 固定 资源 
请 求 〈 比 如 每 个 用 户 邮箱 服务 固定 需 表 要 内 存 10c) ， 骨 人 一 ] 5，， 如 
果 R ， 是 弹性 资源 请 求 〈 比 如 每 个 用 户 邮 箱 服 务 需 要 的 内 存 可 以 在 0 一 
10G 之 间 ) ， 则 二 0 5,=0: 








a 


， 表 示 服 务 ij 的 最 小 产 出 要 求 ， 取 值 在 0 和 1 之 间 。 例 如 茶 个 大 型 企业 


需要 从 云 中 获得 邮箱 服务 1 ”000 个 用 户 ， 并 且 客 户 要 求 无 论 如 何 ， 最 差 
情况 下 也 需要 保证 服务 200 个 用 户 ， 则 此 时 取 值 0.2。 


e ,表示 资源 请 求 是 否 分 配 在 物理 服务 器 h 上 ， 取 值 0 或 者 1。 如 果 是 ， 则 











到 屎 一 


取 值 1; 否则 取 值 0。 


y ， 表 示 服 务 i 在 服务 器 hp 上 是 人 否 进行 Scale 方式 的 输出 。 如 果 服 务 i 不 在 这 
个 服务 器 上 ， 则 取 值 必须 是 0。 


各 个 限定 表达 式 的 含义 具体 如 下 。 


表达 式 〈1) : 表示 服务 请 求 i 分 配 在 物理 服务 器 hp 上 的 状态 ， 或 者 在 或 
者 不 在 。 


表达 式 〈2) : 表示 无 论 东 个 服务 器 是 人 否 承 载 了 服务 请 求 i， 所 有 服务 器 
上 满足 服务 请 求 i 的 总 和 肯定 等 于 1。 


表达 式 (3) : 表示 一 个 服务 i 可 以 在 某 个 服务 器 h 上 得 到 部 分 运行 资源 

的 满足 ， 这 个 满足 程度 肯定 大 于 等 于 0， 如 果 大 于 0 而 小 于 1， 表 示 服 务 

器 i 需要 的 资源 是 分 配 在 多 个 服务 器 上 的 ， 此 服务 器 只 能 满足 部 分 资源 

需求 ;如 果 等 于 1， 表 示 此 服务 此 时 无 需 进行 Scale， 它 完全 能 在 hb 服务器 
上 得 到 全 部 的 资源 满足 。 

表达 式 (4) : 表示 一 个 服务 在 相关 的 服务 器 上 能 取得 的 产 出 必须 大 于 

它 的 最 小 产 出 需求 。 例 如 客户 要 求 云 系统 满足 最 低 200 个 邮箱 用 户 的 需 

求 ， 而 系统 中 有 10 万 台 服 务 器 ， 不 管 此 时 有 多 少 台 服务 器 给 这 个 企业 客 
户 提供 邮箱 服务 ， 都 必须 保证 200 个 邮箱 用 户 的 使 用 。 


ee (5) : 表示 资源 类 型 j 在 服务 器 h 上 能 分 配 各 种 服务 使 用 的 最 大 
是 Ls 


表达 式 (6) : 表示 最 小 的 服务 产 出 Y 不 会 大 于 任何 服务 的 产 出 。 
资源 弹性 分 配 的 近似 最 优 解 有 如 下 公式 : 




















H- Yr(y(1-6,) +6,) 
,1-y)r,(l -6.) 

其 中 NZ 表示 不 等 于 0 的 物理 资源 集合 。 

整个 系统 的 求解 就 是 获得 Y 值 的 最 大 值 。 一 般 来 说 ， 我 们 可 以 采用 如 下 


Y =min . min 
JENZ 





的 条 件 来 获得 最 优 解 : 
e,=1/H and (HH Y(] -分 )) 
2. 存储 资源 调度 算法 
存储 资源 的 调度 算法 主要 实现 以 下 几 点 〈 见 图 2-8) 。 


一直 运 二 一 Eth/IP 
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分 布 式 存 储 
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SAN1 剩 余 的 80% 容 量 用 ”SAN2 剩余 的 10% 容 量 用 于 (SANI+SAN2+…+SANn) 剩 余 的 50% 容 
于 VM1 卷 的 扩容 VM2、VM3、PM4 卷 的 扩容 量 可 用 于 任意 VM 和 PM 的 卷 的 动态 扩容 


图 2-8” 异 构 大 存储 池 
> 将 数据 中 心服 务 器 (机 架 式 服务 器 ， 直 连 存储 (HDD/SSD) 转 


换 为 高 性 能 、 低 时 延 的 共享 存储 资源 ， 大 幅 提 升 可 用 存储 空间 ， 实 
现 无 SAN 化 的 计算 集群 的 虚拟 化 整合 ; 








” 为 每 VM/PM 提 供 更 大 的 “ 瘦 分 配 弹性 ”， 为 不 具备 “ 瘦 分 配 ?能 力 
的 服务 器 内 置 DAS/SSD 以 及 外 置 SAN 带 来 天 然 瘦 分 配 能 力 ， 并 解决 
多 数 外 置 SAN 存 储 瘦 分 配 带 来 的 性 能 下 降 开 销 问 题 ; 


> 更 大 规模 的 跨 SAN 资 源 池 ， 基 于 在 线 分 布 式 去 重 实现 更 大 范围 
的 重复 数据 识别 与 删除 (文件 级 /对 象 级 / 块 级 ) ， 将 资源 利用 率 进 
一 步 提 升 40%; 

















3 更 大 规模 的 资源 池 ， 意 味 厦 可 有 更 多 共 圣 空 内 资源 满足 计算 侧 
需求 ， 避 免 独 立 SANNAS 数 据 不 均衡 带 来 的 资源 浪费 〈30% ) : 


到 在 超大 资源 池 下 ， 将 “路 SAN” 数 据 热 迁移 的 概率 几乎 降低 为 


次 ; 








” ， 物理 机 无 Hypervisor， 需 要 引入 “存储 融合 ” 层 来 解决 数据 的 跨 
SAN 热 迁移 能 力 《〈 存 储 大 资源 池内 的 ) 。 


3. 能 耗 管理 最 优化 算法 


要 降低 PUE 值 ， 实 现 云 计算 绿色 市 能 的 理念 ， 需 要 有 一 个 好 的 能 耗 管理 
算法 。 能 耗 管理 算法 在 云 计 算 中 是 一 个 关键 技术 《〈 见 图 2-9) 。 


L2? 虚 拟 机 能 耗 管理 调度 引擎 ( 跨 L1&L2) 





| 计算 开 拟 化 子 系统 控制 指令 
; 节能 自动 化 调度 
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图 2-9 ”能 耗 管理 功能 模块 图 


” 计算 部 分 是 数据 中 心 L1+L2 功 耗 的 主要 矛盾 和 关键 路 径 (60% 
~—70%); 











” 数据 中 心 内 ， 基 于 “ 轻 载 合并 ”原则 进行 VM 热 迁移 调度 ， 使 得 
更 多 的 空 亲 服务 器 可 以 下 电 或 处 于 节能 运行 态 ; 





> 计算 虚拟 化 部 分 与 数据 中 心 L1 管 理 软件 联动 ， 尽 量 减少 局 部 热 
点 ， 从 而 允许 L1 管 理 软件 控制 空调 提升 平均 工作 远 度 ， 达 到 提升 
PUE 效 率 的 目的 ; 


“ ”持续 动态 采集 当前 负载 情况 下 服务 器 、UPS 及 空调 、 制 冷 设 备 
的 功 耗 及 温度 数据 ， 得 出 PUE 指 标 ， 并 在 管理 界面 上 实时 呈现 。 





处 理 过 程 具体 如 下 。 

(1) 输入 信息 

1) 物 理 机 信息 列表 

” 静态 规格 : CPU 主 频 和 数量 、 内 存 大 小 、 网 卡 速率 。 
” 负载 信息 : CPU 利用 率 、 内 存 利用 率 、 网 络 IO。 

> 状态 上 电 、 下 电 、 异 常 状态 。 

>” 功率 信息 《可 选 ) : 额定 功 耗 、 当 前 功率 。 

温度 信息 《可 选 ): 当前 CPU 温 度 、 物 理 机 温度 。 


| 








> ”其 他 (可 选 ) : 物理 机 能 耗 效 率 评级 、 离 冷风 送 风口 距离 或 评 


攻 


2) 虚 拟 机 信息 列表 


> 静态 规格 : 虚拟 机 CPU (vCPU 数 量 和 主 频 ) 、 内 存 大 小 、 网 卡 
速率 。 


” 负载 信息 : CPU 占用 、 内 存 占 用 、 网 络 IO。 


> 约束 信息 : 互 斥 性 约束 、 亲 和 性 约束 。 

” 物理 机 和 虚拟 机 的 关联 关系 。 

” 物理 机 对 应 的 VM ID 列表 。 
3) 两 个 场景 





> 轻 载 时 ， 合 并 VM， 物 理 机 下 电 节 能 。 
” 重 载 时 ， 启 动物 理 机 ， 均 衡 VM， 保 证 QoS 。 
4) 三 个 子 算 法 
” 轻 载 / 重 载 检测 算法 。 
> 上 下 电 PM 选 择 子 算 法 。 
” 负载 均衡 子 算 法 。 
5) 算 法 设计 时 要 考虑 的 问题 
”多 维 资源 问题 。 
” 迁移 成 本 -收益 分 析 。 
” 迁移 震荡 问题 。 
> What-if 测 试 。 
” 配 电 问 题 。 
” 温度 问题 。 


” 调度 约束 。 


(2) 输出 信息 

其 主要 有 两 种 动作 ， 即 物理 机 上 下 电动 作 、VM 渤 移动 作 。 
2.2.2 异 枚 技术 

1. 异 构 硬件 简化 管理 集成 技术 

异 构 的 内 容 包括 以 下 几 点 。 





” Hypervisor 层 硬件 民 构 : 例如 同时 文 持 UVP & KVM3 引 擎 ， 广泛 
兼容 其 他 三 家 x86 服 务 器 。 


> 硬件 OM 管 理 异 构 : 云 管理 抽象 出 与 设备 无 关 的 对 象 模型 
CCIM) ， 如 通过 适 配 包 和 采集 模型 中 需要 的 数据 ， 屏 责 不 同 硬件 之 
间 差 异 。 适 配 包 独立 于 主干 版 本 发 布 ， 可 动态 加 载 到 系统 中 以 满足 
快速 适 配 新 人 硬件 的 能 








” 虚拟 机 、 物 理 机 统一 建 模 : x86 服 务 器 虚拟 机 、 物 理 机 ， 以 及 
ARM 物 理 机 的 寞 构 集群 管理 。 


异 构 实现 原理 如 图 2-10 所 示 。 


业务 运行 平面 上 ， 依 托 从 Linux OS 生生 出 来 的 XEN 与 KVM 虚 拟 化 引 
擎 ， 实 现 屏蔽 硬件 差异 化 的 虚拟 硬件 仿真 ， 对 异 构 便 件 特有 的 IO 张 动 
进行 版 本 化 验证 管理 。 


管理 平台 上 ， 在 云 管 理子 系统 中 采用 灵活 的 插件 机 制 对 各 类 异 构 硬件 通 
过 有 代理 以 及 无 代理 模式 的 管理 ， 从 各 类 服务 器 人 硬件 管理 总 线 以 及 操作 
系统 内 的 Agent， 其 至 异 构 硬件 自 带 的 管理 系统 中 收集 ， 并 适 配 到 统一 
的 CIM 信 息 模型 中 来 。 
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图 2-10 ”硬件 异 构 兼容 原理 
2. 异 构 Hypervisor 简 化 管理 集成 技术 


针对 数据 中 心 场景 ， 企 业 IT 系 统 中 的 Hypervisor 选 择 往往 不 是 唯一 的 ， 

可 能 有 VMware 的 ESX 主 机 及 vSphere 集 群 ， 可 能 有 微软 的 Hyper-V 及 
SystemCenter 集 群 ， 也 可 能 有 从 开源 KVMVXEN 衍 生 的 Hypervisor 〈 如 华 
为 UVP 等 ) ， 多 种 选择 并 存 。 此 时 云 操作 系统 是 否 有 能 力 对 这 些 异 构 
Hypervisor 加 以 统一 调度 管理 呢 ? 答案 是 肯定 的 。 可 以 依托 Openstack 开 
源 框架 ， 通 过 Plug-in 及 Driver 等 扩展 机 制 ， 将 业界 所 有 主流 的 Hypervisor 
主机 或 者 主机 集群 管理 接口 统一 适 配 到 OpenStack 的 信息 模型 中 来 ， 并 
提供 V2V/P2V 虚 拟 机 镜像 的 转换 工具 ， 在 异 构 Hypervisor 之 间 按 需 进 行 
虚拟 机 镜像 转换 。 这 样 即 使 不 同 的 Hypervisor 也 可 共存 于 同一 集群 ， 共 
享 相同 存储 及 网 络 服务 ， 甚 至 HA 服务 。 


资源 以 统一 集群 方式 管理 〈《OpenStack 目 标 ) ， 屏 责 Hypervisor 差 异 ， 简 
化 云 计 算 资 源 管理 〈 见 图 2-11) 。 
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目 目 -四 四 - 目 站 和 车 
图 2-11 Hypervisor 异 构 统一 管理 原理 
3. 了 腊 构 存储 管理 集成 的 统一 简化 技术 
异 构 存储 管理 继承 的 统一 简化 技术 主要 包括 如 下 几 点 ( 见 图 2-12〉。 
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图 2-12 ”存储 异 构 统一 管理 原理 


” 10PB 级 存储 大 资源 池 ， 跨 多 三 家 异 构 外 置 存 储 ， 以 及 服务 器 自 
带 SSD/HDD 的 资源 池 化 ， 将 存储 服务 抽象 为 同时 适用 于 虚拟 机 和 
物理 机 的 “统一 EBS” 服 务 ; 


> 容量 、IOPS、MBPS 等 SLA/QoS 是 EBS 存 储 服务 界面 的 “统一 语 
言 >， 与 具体 支撑 该 服务 的 存储 形态 及 厂家 无 关 ; 





> 可 按 需 将 部 分 存储 高 级 功能 (数据 元 余 保 护 、 置 0 操作 、 内 部 
LUN 找 贝 、 链 接 克 隆 等 ) 弛 载 到 外 置 存 储 (类 VVOL) ; 


” 针对 DAS 存 储 融 合 ， 应 用 层 逻 辑 卷 与 存储 LUN 之 间 采 用 DHT 分 
布 式 打 散 映 射 ， 以 及 一 致 的 RAID 保 护 ; 


” 针对 SAN 存 储 融 合 ， 应 用 层 逻 辑 卷 与 存储 LUN 之 间 采 用 DHT 分 
布 式 打 散 映射 〈 新 建 卷 ) ， 或 者 直接 映射 〈 利 旧 并 平滑 迁移 已 有 





卷 ) ， 数 据 可 靠 性 一 般 由 SAN 存 储 上 自身 负责 ; 


” 同一 应 用 Volume 的 直接 映射 卷 可 “逐步 ?平滑 迁移 到 DHT 了 映射 
着， 实现 业务 中 断 。 


Pm 大 的 可 靠 性 保障 技术 
数据 中 心 内 的 可 菲 性 保障 技术 


数据 中 心 内 的 可 靠 性 保障 技术 主要 包括 HA (High ”Arvailability) 冷 备 
份 、FT (Fault Tolerance) 热 备 份 、 轻 量 级 FT。 


HA (High Availability) 冷 备 份 : 数据 中 心 内 基于 共享 存储 的 冷 迁 移 ， 
在 由 于 软件 或 硬件 原因 引发 主 用 YM/PM 故 障 的 情况 下 ， 触 发 应 用 在 备 
用 服务 器 上 局 动 ; 适用 于 不 要 求 业务 零 中 断 或 无 状态 应 用 的 可 靠 性 保障 
〈 见 图 2-13) 。 
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图 2-13 ” 冷 备 份 原理 
FT (Fault Tolerance) 热 备 份 : 指令 、 内 存 、 所 有 状态 数据 同步 。 该 方 


式 的 优势 是 状态 完全 同步 ， 完 全 保证 一 至 性， 且 支 持 SMP。 和 劣势 是 性 能 
开销 大 ， 会 带 来 40% 左 右 的 性 能 降低 〈 见 图 2-14) 。 








其 他 活动 的 主机 
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复制 引擎 
| 心跳 
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活动 主机 备份 主机 
图 2-14” 热 备份 原理 


轻 量 级 FT: 基于 I1/O 同 步 的 FT 热 备 机 制 。 优 势 是 CPU/ 网 络 性 能 损耗 10% 
以 内 ， 支 持 单 核 和 多 核 。 劣 势 是 适合 于 网 络 1/O 为 主 服务 的 场景 ( 见 图 2- 
15) 。 
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图 2-15 ” 轻 量 级 FT 原理 
(1) 跨 数 据 中 心 的 可 靠 性 保障 技术 


跨 数 据 中 心 的 可 靠 性 保障 技术 ， 主 要 是 基于 存储 虚拟 化 层 IO 复制 的 同 
步 和 异步 容 灾 两 种 。 


基于 存储 虚拟 化 层 IO 复制 的 同步 容 灾 ， 采 用 生产 和 容 灾 中 心 同城 








(<100KM) 部 署 ， 时 延 小 于 5ms，DC 间 带宽 充裕 ， 并 且 对 RPO (恢复 
点 目标 ) 要 求 较 高 ， 一 般 RPO 接 近 或 者 等 于 0 秒 。 分 布 式 块 存储 提供 更 
高 效 的 IO 同步 复制 效率 〈 见 图 2-16) 。 
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存储 虚拟 化 


分 布 式 存 全 

图 2-16 ”基于 应 用 层 的 容 灾 复制 原 
基于 存储 虚拟 化 层 VO 复 制 的 异步 容 灾 采用 生产 和 容 灾 中 心 寞 地 CR 
100KM) 部 普 ， 和 市 客 受 限 ， 时 延 大 于 5ms， 同 时 对 RPO 有 一 定 的 容忍 


度 ， 如 RPO 大 于 5 分 钟 。IO 复 制 及 快照 对 性 能 的 影响 趋 近 于 零 〈 见 图 2- 
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存储 虚拟 化 


| 
WW | 
/分布 式 存储 [分 布 式 存储 | 


目 目 目 目 目 EPEee 


图 2-17 基于 存储 层 的 容 灾 复制 原理 


[服务 器 























单 VM 及 多 VM 的 弹性 伸缩 技术 包括 基本 资源 部 件 级 别 、 虚 拟 机 级 别 、 
云 系统 级 别 三 个 层次 的 伸缩 技术 。 


基本 资源 部 件 级 别 : 精细 化 的 Hypervisor 资 源 调度 ， 对 指定 虚拟 机 实例 
内 存 及 存储 规格 进行 弹性 伸缩 ， 并 可 对 伸缩 上 下 限 进 行 配 额 限 
| 。 


虚拟 机 级 别 : 指 虚 拟 机 集群 的 目 动 扩展 与 收缩 ， 基 于 CloudWatch 机 制 对 
对 业务 集群 进行 集群 伸缩 与 扩展 的 Auto- 
Scaling 控 制 。 


云 系统 级 别 : 在 内 部 私有 云 资源 不 足 的 情况 下 ， 自 动向 外 部 公有 云 或 其 
他 私有 云 〈 计 算 及 存储 资源 池 )“ 租 借 ? 及 “释放 ”资源 。 


上 述 弹性 伸缩 机 制 ， 使 得 在 大 规模 共 孚 资源 池 前 提 下 ， 流 控 及 因 流 控 引 
发 的 业务 损失 被 完全 规避 〈 见 图 2-18) 。 
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图 2-18 ”弹性 伸缩 





原则 上 ， 针 对 在 线 处 理应 用 ，IO 加 速 应 发 生 在 最 靠近 计算 的 位 置 上 ， 
因此 作为 提高 TO 性 能 的 分 布 式 Cache 应 该 运行 在 计算 侧 〈 见 图 2-19): 


” 远 端 Cache 的 IO 效率 ， 高 出 本 地 IOPS/MBPS 效 率 1 个 数量 级 ; 





> 通过 分 布 式 内 存 、SSD Cache， 实现 对 内 部 和 外 部 HDD 硬 盘 介 
质 资源 的 IO 性 能 提升 2 一 3 倍 ; 


> NVDIMM/NVRAM 和 SSD Cache 保 证 在 全 局 掉 电 (或 多 于 2 个 节 
点 故障 情况 下 ) 情况 下 计算 近 端 的 写 Cache 数 据 无 丢失 ; 

> 分 布 式 Cache 可 提供 更 大 的 单 VM (〈 单 应 用 ) 的 磁盘 并 发 
MBPS， 效 率 可 提升 3 一 5 倍 。 


服务 器 + 存储 
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图 2-19 ”存储 加 载 功 能 





1. 业务 应 用 驱动 的 边缘 虚拟 网 络 自 动 化 





分 散在 交换 机 、 防 火 墙 、 路 由 器 的 L2 转 发 表 及 L3 路 由 表 集中 到 SDN 控 
制 顷 ， 使 得 跨 多 市 点 的 集中 拓扑 管控 及 快速 重 定义 成 为 可 能 。 基 于 x86 
的 软件 交换 机 和 VxLAN 隧 道 封装 的 Overlay 合 加 网 可 以 实现 业务 驱动 且 
与 物理 网 络 彻 确 解 耘 的 逻辑 网 络 自 动 化 ， 文 持 路 数据 中 心 的 大 二 层 组 
网 。 基 于 业务 模板 驱动 网 络 自 动 化 配置 ， 如 图 2-20 所 示 。 
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图 2-20 网络 功能 虚拟 化 层次 架构 
2. 更 强大 、 更 灵活 的 网 络 安全 智能 策略 
在 云 计算 早期 阶段 ， 一 般 采 用 下 面 的 方法 进行 网 络 安全 的 部 普 ， 但 存在 


一 些 不 足 。 








” 公有 云 、 多 租户 共享 子 网 场景 下 ， 静 态 配 置 安全 组 规则 仅 在 目 
的 端 进行 过 小 ， 无 法 规避 DOS 攻 击 ( 见 图 2-21) 。 





图 2-21 虚拟 机 网 络 安全 原理 


> 采用 外 置 防火 墙 方法 控制 子 网 间 安 全 ， 但 存在 流量 迁 回 ( 见 图 
2-22) 。 








防火 墙 





图 2-22 采用 外 置 防火 墙 方法 控制 子 网 间 安 全 
为 解决 云 计算 早期 阶段 技术 安全 隐患 ， 新 阶段 云 计 算 架构 通过 软件 定义 


网 络 的 实施 ， 解 决 这 些 问 题 〈 见 图 2-23) : 





”> 按 业 务 需 求 统 一 定义 任意 日 标 
到 Controller; 


源 组 合 的 安全 策略 定义 下 发 


> 子 网 内 互 访 ， 首 包 上 送 Controller， 动 态 下 发 安全 过 滤 规 则 ， 源 
头 扼 杀 攻 击 ; 


> 子 网 间 互 访 ， 动 态 下 发 快 转 流 表 ， 吉 免 迁 回 。 


甘于 业务 的 三 级 安全 策略 集中 定义 App 
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图 2-23 ”通过 软件 定义 网 络 的 实施 解决 问题 


2.2.7 ”应 用 管理 目 去 





对 于 目标 架构 的 基础 设施 层 的 管理 功能 定位 ， 仅 仅 做 好 物理 和 虚拟 机 资 
源 的 调度 是 远 远 不 够 的 ， 其 应 当 涵 善 独 立 于 具体 业务 应 用 逻辑 的 普 这 适 
用 的 弹性 基础 设施 之 上 的 应 用 的 全 生命 周期 管理 功能 ， 涵 兰 从 应 用 模 

板 、 应 用 资源 部 车 、 配 置 变 更 、 业 务 应 用 上 线 运 行 之 后 基于 应 用 资源 占 
用 监控 的 动态 弹性 伸缩 、 故 障 目 意 以 及 应 用 销毁 的 功能 。 整 个 应 用 的 生 
命 周 期 管理 应 遵循 如 图 2-24 所 示 的 流程 。 


]. 模板 设计 
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图 2-24 全 生命 周期 管理 流程 
各 部 分 主要 实现 如 下 内 容 。 
(1) 图 形 化 的 应 用 模板 设计 方式 : 采用 基于 图 形 的 可 髓 套 式 重 用 模 


板 :; 采用 拖 搜 和 粘贴 拷贝 的 方式 来 定义 分 布 式 应 用 模板 ;: 使 得 模板 设计 
简单 高 效 ( 见 图 2-25、 图 2-26) 。 
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图 2-25 ”图 形 化 的 应 用 模板 
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图 2-26 图形 化 的 应 用 模板 设计 


(2) 提前 准备 的 丰富 模板 库 和 目 动 部 壮 : 为 物理 机 、 容 灾 、SDN、 
LB、 防 火 墙 等 准备 好 应 用 模板 ; 当 有 应 用 需求 时 ， 系 统 直 接 从 模板 库 
中 选取 相应 的 模板 进行 自动 部 车 〈 见 图 2-27) 。 
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图 2-27 ”从 模板 库 中 选取 相应 的 模板 


(3) 基于 SLA 的 应 用 监控 ， 面 同 不 同 的 应 用 (数据 库 、HPC、 基 于 

LAMP 的 Web 网 站 等 ) ， 定 义 不 同 的 SLA 指 标 集 ， 对 这 些 指标 进行 监 

控 ， 采 用 项 态 浆 值 和 动态 基线 相 结 合 的 方法 进行 故障 告警 和 性 能 预警 ， 
使 应 用 监控 更 自动 化 和 精细 化 ， 满 足 客户 业务 运行 的 要 求 。 


(4) 基于 工作 流 的 应 用 故障 自 愈 : 采用 基于 工作 流 的 管理 方式 ， 通 过 
对 应 的 设计 工具 来 设计 用 户 自 定义 事件 ， 当 监控 到 应 用 故障 、 事 件 触 友 
We 





从 将 云 计算 技术 引入 传统 数据 中 心 所 市 来 的 独特 两 业 价 值 角度 看 ， 重 点 
可 以 从 开源 与 市 注 两 个 方面 来 衡量 云 计 算 的 核心 苋 争 力 。 


节 流 (Cost Saving) 方面 





在 业务 系统 搭建 过 程 中 ， 云 计算 和 虚拟 化 使 得 企业 及 运营 商 的 烟 秽 式 软 
件 应 用 可 以 突破 应 用 边界 的 束 缠 ， 充 分 共享 企业 范围 内 、 行 业 范 围 内 其 
至 全 球 范 围 内 公用 的 IT 资 源 池 ”， 无 需 采 购 和 安装 实际 物理 形态 的 服务 
项 、 交 换 机 以 及 存储 硬件 ， 而 是 依赖 于 同 集 中 的 “IT 资源 池 ? 动 态 申请 所 
需 的 虚拟 芽 资源 (或 资源 集合 ) ， 束 可 以 完成 相关 应 用 的 自动 化 安装 部 
署 ， 从 而 达到 快速 搭建 支撑 自 吴 核心 业务 的 IT 系统 与 基础 平台 的 目的 。 
0 








在 业务 应 用 执行 过 程 中 ， 依 托 节 能 减 排 及 资源 利用 率 最 大 化 原则 ， 实 现 
必要 的 智能 资源 动态 调度 ， 以 完成 既定 的 业务 处 理 或 计算 任务 ， 并 在 特 
性 业务 处 理 或 计算 任务 完成 后 即时 地 释放 相关 IT 资源 供 其 他 企业 、 行 业 
进一步 动态 共享 ， 从 而 实现 IT 建 设 与 运 维 成 本 的 大 幅度 优化 与 降低 。 


另外 ， 针 对 涉及 海量 数据 处 理 及 科学 计算 的 特殊 行业 ， 以 往 依 托 于 造价 
昂贵 小 型 机 、 大 型 机 甚至 巨型 机 、 高 端 存储 阵列 ， 或 者 采用 通用 处 理 设 
备 需 要 数 月 甚至 数 年 才能 完成 的 复杂 计算 与 分 析 任 务 ， 有 可 能 在 云 计 算 
数据 中 心 基 于 通用 服务 需 集 群 ， 以 更 为 低廉 的 成 本 并 人 花 约 更 短 的 时 间 束 
可 以 轻松 应 对 。 


开源 (Revenue Generation ) 方面 











” 针对 公有 云 数 据 中 心 运 营 商 的 价值 ， 将 SaaS 等 早 在 云 计算 概念 
出 现 就 已 普及 的 资源 服务 的 概念 进一步 扩展 到 Iaas 与 PaaS 层 ， 云 计 
算数 据 中 心 运营 商 可 以 在 IaaS/PaaS 上 建设 自 营 增值 业务 服务 于 云 用 
户 ， 也 可 引入 众多 第 三 方 应 用 运行 在 IaaS/PaaS 云 平台 之 上 ， 实 现 相 
比 传统 数据 中 心 托 管 服务 具备 更 高 附加 值 的 虚拟 机 、 虚 拟 和 桌面 及 虚 
拟 数据 中 心 租 赁 业务 ， 或 者 在 第 三 方 应 用 开发 /提供 商 、 云 运营 商 
CIaaS/PaaS 云 平台 提供 者 ) 以 及 云 租户 / 云 用 户 之 间 分 享 丰 富 的 
SaaS 应 用 以 带 来 的 增值 利润 。 


” 针对 企业 私有 云 数 据 中 心 建设 的 价值 ， 云 计算 使 得 工 基 础 染 构 
可 以 对 与 企业 、 行 业 业 务 紧 密 绑 定 的 业务 软件 形成 更 为 蜗 效 和 敏捷 
的 集成 融合 ， 从 而 大 大 提升 企业 IT 资 源 灵活 适应 并 支撑 企业 核心 业 
ee 


























” 云 计算 的 海量 数据 分 析 与 挖掘 能 力 的 价值 : 使 得 企业 、 行 业 有 
能 力 依托 其 海量 存储 及 并 行 分 析 与 处 理 框 淋 的 能 力 ， 从 其 企业 IT 系 
统 所 产生 的 海量 的 历史 数据 中 提炼 并 荣 取 出 对 其 有 价值 的 独特 信息 
与 价值 ， 从 而 为 其 市 场 及 业务 战略 的 及 时 优化 调整 提供 智能 化 决 集 
引擎 ， 从 而 有 效 提 升 企业 的 苋 争 力 。 


基于 以 上 云 计算 数据 中 心 解 决 方案 商业 价值 ， 可 以 从 下 面 六 大 染 构 质量 
属性 指标 来 衡量 云 计 算数 据 中 心 解决 方案 的 苋 争 力 〈 见 图 2-28)。 


用 户 体 验 

















弹性 伸缩 i 低 TCO 
从 几 个 到 百 万 节点 的 扩展 能 力 


3 了 节点 的 扩展 能 力 
。 ”支持 私有 /公有 云 的 各 种 规模 。 ”大幅 降低 云 运营 商 的 硬件 成 本 及 管理 维护 成 本 
。 扩容 升级 业务 不 中 断 。 大幅 降低 云 租户 业务 部 署 、 迁 移 的 难度 与 周期 


图 2-28 ” 云 计 算 架构 核心 竞争 力 
2.3.1 TCO 


低 TCO 能 力 的 构建 包括 降低 和 优化 云 计算 数据 中 心 的 设备 投资 成 本 ， 以 
及 运 维 成 本 两 个 方面 。 
设备 投资 成 本 的 优化 与 节能 主要 考虑 的 架构 策略 涉及 如 下 策略 。 

计算 资源 的 成 本 优化 与 市 省 
站 在 整体 数据 中 心 资源 集群 成 本 的 视角 ， 针 对 由 以 太 交 换 网 连接 起 来 的 
计算 密集 型 服务 器 构成 的 计算 集群 ， 云 计算 资源 集群 初始 调度 分 配 以 及 
运行 态 动态 算法 的 优 劳 ， 决 定 了 通过 资源 占用 的 削 峰 错 谷 可 以 带 来 的 资 
源 利 用 率 提 升 ， 以 及 相应 的 成 本 下 降 比 例 。 


除 调度 算法 之 外 ， 文 撑 更 大 规模 的 集群 是 实现 计算 资源 CAPEX 成 本 最 
优化 的 有 效 手段 ， 云 计算 的 云 资源 调度 软件 通过 文 持 大 甚至 是 超大 规模 
的 HA 集群 〈 例 如 : 总 集群 服务 器 容量 达到 128 服 务 器 /集群 ) ， 实 现 对 
多 种 大 小 不 同 颗粒 度 的 客户 服务 器 集群 的 容纳 ， 从 而 降低 资源 碎片 概 
率 ， 提 升 资源 利用 率 。 


考虑 将 成 本 颗粒 度 从 服务 器 集群 细 化 层面 癌 下 细 化 到 单 服务 器 层面 ， 虚 
拟 机 VMM 引 擎 在 一 个 服务 器 范围 内 的 CPU 及 内 存 资源 调度 能 否 实现 路 
虚拟 机 的 充分 动态 共 诗 ， 则 决定 了 服务 器 颗粒 度 内 的 多 虚拟 机 资源 利用 
率 的 高 低 ， 以 及 对 应 的 成 本 竞争 力 。 虚 拟 化 引擎 通 过 支持 实时 应 用 调度 
优化 、 小 包 数 据 中 断 调 度 优化 ， 以 及 内 存 气 泡 、 内 存 交 换 与 共享 等 优化 
音 施 来 提高 服务 露 级 资源 利用 座 。 


存储 资源 的 成 本 优化 与 节省 


在 普通 云 计算 数据 中 心 环 境 下 ， 存 储 容 量 一 般 均 在 几 十 TB 以 上 ， 在 满 

足 相 同 容量 及 IOPS 存 储 吞 吐 能 力 需求 的 基础 之 上 ， 需 从 成 本 角度 出 发 做 
出 权衡 抉择 ， 即 采用 基于 集中 RAID 控 制 器 带 一 系列 存储 磁盘 的 垂直 扩 - 
展 〈Scale-up) 模式 ， 还 是 采用 基于 全 分 布 式 及 普通 服务 器 附带 人 硬盘 存 
储 的 水 平 扩展 (Scale-out) 模 式 。 通 过 引入 全 分 布 式 存储 ， 有 和 望 通过 差异 
化 架构 规避 RAID 双 控制 机 头 随 存储 容量 与 处 理 能 力 的 上 升 所 带 来 的 成 
0 从 而 实现 云 存 储 成 本 的 大 幅 降 低 及 性 价 比 的 提 


























网 络 资源 的 成 本 优化 与 节省 


在 可 能 的 情况 下 ， 考 虑 取消 独立 硬件 形态 的 汇聚 网 络 交 换 机 及 防火 墙 网 

关 设 备 ， 在 通用 x86 平 台 上 支持 Load Balancer、 咏 火 墙 等 设备 ， 从 而 有 
效 降 低 网 络 资源 的 成 本 占用 。 由 于 部 分 云 计 算 虚拟 网 络 特性 (如 ACL， 
0 
es 


维护 成 本 的 优化 与 市 省 


为 实现 数据 中 心 大 规模 计算 、 和 存储 集群 依据 多 层 网 络 交 换 设 备 的 维护 成 
本 最 优化 ， 要 求 云 管 理 OSS 文 持 最 大 限度 的 智能 化 管理 ， 实 现 系统 在 故 
障 状态 下 对 DC 内 部 服务 硕 、 网 络 及 存储 资源 垂直 整合 的 融合 架构 ， 一 
站 式 交 付 将 大 大 降低 硬件 安装 维护 复杂 度 。 














节能 减 排 等 生命 周期 维护 成 本 的 市 省 


为 达到 数据 中 心 整个 运行 服务 周期 中 市 能 减 排 效率 的 不 断 提升 ， 包 括 在 
完成 相同 工作 负荷 的 前 提 下 更 为 有 效 地 降低 服务 占 、 存 储 及 交换 设备 目 
刁 的 耗 电量 ， 可 采用 以 下 几 项 关键 措施 : 


” 在 云 管理 层面 引入 更 为 优秀 的 资源 调度 算 法 ， 通 过热 迁移 机 制 
实现 将 轻 载 应 用 尽量 合并 到 数量 更 少 的 服务 器 上 ， 其 他 服务 器 则 和 直 
接 下 电 ， 从 而 提升 整体 资源 利用 率 ; 





“在 服务 器 颗粒 度 内 ， 引 入 多 级 节能 控制 机 制 ， 在 轻 工 作 负载 时 
目 动 调整 CPU 工 作 于 市 能 状态 ; 


”在 人 硬件 选 型 方面 尽 可 能 选择 低 功 耗 CPU 以 及 器 件 、 组 件 以 构筑 
低 成 本 优势 ， 不 断 改善 服务 器 单 板 散热 布局 ; 


”引入 分 布 式 电池 或 者 电容 ， 减 少 由 于 UPS 在 空 载 或 轻 载 情况 下 
的 电源 效率 损失 ; 
” 在 数据 中 心 基础 设施 层 引 入 更 为 智能 的 热管 理 软 件 及 监测 手 


段 ， 并 实现 充分 的 冷 热风 道 隔离 ， 以 及 热 耗 散 的 目 动 补偿 ， 甚 至 通 
过 直接 拉 通 来 实现 整体 PUE 效 率 最 佳 。 





2.3.2 ”弹性 伸缩 

弹性 伸 缩 要 求 以 相同 架构 ， 支 撑 从 最 少儿 个 计算 与 存储 节点 ， 到 最 大 10 
万 甚至 是 100 万 级 的 计算 与 存储 市 反 集 群 规模 ， 且 保证 数据 中 心 容量 扩 
展 过 程 中 的 业务 连续 性 及 业务 服务 不 中 断 ， 或 中 断 时 延 最 短 。 


这 里 的 弹性 伸缩 扩展 能 力 应 该 体现 在 : 





> 管理 节点 的 弹性 伸缩 能 力 ; 
” 数据 中 心 资源 的 弹性 伸缩 能 力 ; 
” 所 承载 云 租户 业务 的 计算 集群 弹性 伸缩 能 力 ; 


” 承载 用 户 数据 信息 及 系统 卷 镜像 的 存储 集群 的 弹性 伸缩 能 力 ; 

>” 连接 计算 与 存储 集群 资源 的 网 络 弹 性 伸缩 能 
为 了 支持 该 能 力 ， 数 据 中 心 交 换 枢 纽 需要 支持 大 二 层 虚 拟 化 网 络 ， 采 用 
CLOS 无 阻塞 以 太 网 连接 模型 ， 存 储 资 源 需 要 支持 全 分 布 式 存储 架构 ; 
计算 资源 需要 支持 大 集群 规模 ， 管 理 节 点 需要 支持 基于 共享 存储 、 无 状 
态 机 制 实现 的 可 无 级 扩展 的 管理 能 力 。 这 些 要 求 是 支撑 该 强 弹 性 伸缩 能 
力 的 根本 保障 。 

2.3.3 ”高 性 能 


整体 云 计算 的 性 能 ， 重 点 体现 在 以 下 几 个 维度 。 








” 虚拟 化 云 平台 上 运行 普通 里 粒度 托管 应 用 场景 :1/O 否 吐 性 能 、 
CPU 调度 效率 等 相 比 同等 处 理 能 力 物理 机 平台 的 下 降 比 例 越 小 ， 性 
能 苋 争 力 越 强 。 


” 并 发 云 平 台 上 运行 超大 规模 数据 分 析 与 应 用 处 理 场 景 ， 完 成 既 
定 任务 所 耗费 的 时 间 越 少 ， 或 计算 、 存 储 资源 越 少 ， 性 能 竞争 力 越 
强 。 


” 频繁 数据 库 操作 或 媒体 类 存储 信息 的 应 用 场景 ， 云 存储 的 IOPS 
否 叶 率 最 大 ， 可 共 至 的 存储 容量 越 大 ， 性 能 范 争 力 越 强 。 


” 云 计 算数 据 中 心 内 依赖 于 网 络 总 线 的 分 布 式 B/S、C/S 应 用 (如 
网 站 ) 场景 : 网 络 时 延 越 短 ， 性 能 苋 争 力 越 强 。 


” 批量 虚拟 机 友 放 、 虚 拟 机 系统 加 载 等 涉及 大 流量 、 大 尺寸 数据 
流 及 文件 处 理 的 场景 :需要 通过 包括 P2P 加 载 、 链 接 元 隆 等 有 效 染 
构 手 段 加 以 优化 ， 或 通过 Cache 机 制 减少 跨 节 点 性 能 压力 。 其 依托 
弹性 计算 及 分 布 式 存储 与 中 间 件 的 并 行 数据 分 析 引 擎 ， 支 持 批 处 理 
及 流 式 海量 数据 分 析 与 挖掘 ， 从 而 提升 性 能 。 


2.3.4 ”领先 的 用 户 体验 
以 桌面 云 应 用 场景 为 例 ， 通 过 局 域 网 络 或 者 远程 网 络 连接 的 桌面 业务 体 











验 ， 包 括 基础 蜗 面 应 用 操作 、 音 视频 播放 、VoIP、 局 清 视频 以 及 3D 加 
速 图 形 处 理 密集 型 应 用 ， 达 到 与 本 地 桌面 体验 持平 ， 并 在 时 延 、 拌 动 、 
市 宽 占 用 等 方面 有 优势 ， 这 决定 了 直接 面 问 企业 及 个 人 家 庭 最终 用 户 的 
云 业务 的 质量 保障 的 评价 。 
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安全 性 无 疑 是 云 计算 技术 在 数据 中 心 建设 部 署 与 扩容 中 被 采纳 的 首要 障 
人 碍 性 因素 ， 尤 其 是 公有 云 场景 ， 该 方面 的 问题 更 为 突出 ， 因 而 其 也 是 染 
构 竞 争 力 衡 量 的 关键 纬度 。 对 安全 质量 属性 的 需求 实际 上 贯穿 于 云 计 算 
架构 的 目 低 向 上 的 各 个 层面 ， 包 括 : 











” 物理 层 的 数据 中 心安 全 防护 ， 实 现 硬件 层 与 软件 层 关 联 可 信和 度 
管理 的 TPM 机 制 | ; 


” 虚拟 化 层 公共 的 事件 检测 、 防 病毒 及 安全 管理 机 制 ; 
” 操作 系统 安全 加 固 ， 去 除 无 用 服务 及 安全 隐患; 








” 面 癌 云 租户 / 云 用 户 的 云 资 源 管理 接 入 认证 与 加 密 管 理 ; 


” 面 同 云 资源 管理 维护 者 的 分 权 分 域 及 认证 瞧 权 管理 ， 以 及 面向 
虚拟 私有 云 的 分 级 资源 管理 授权 能 力 ; 








” 面 癌 云 租户 / 云 用 户 的 数据 传输 加 密 、 解 密 及 网 络 层 安 全 隅 离 机 


制 | 








” 面 问 云 租 户 / 云 用 户 ， 以 及 云 管 理 员 的 数据 中 心 边 界 安全 网 天、 
防火 载 或 者 地 址 隐藏 转换 机 制 《集中 硬件 或 分 布 式 软件 ) ; 











” 面 同 云 租户 / 云 用 户 的 云 存储 持久 化 数据 加 密 、 解 密 及 其 密 钥 管 
理 机 制 ; 


me 


”作为 云 管 理 维护 及 云 用 户 交 互 界面 的 Web Portal 的 应 用 层 安 全 
防 攻击 机 制 ， 


” 面 癌 云 管理 者 及 监管 机 构 的 ， 基 于 数据 中 心 系统 管理 与 业务 日 
志 的 安全 合 规 性 分 析 ; 


> 托管 应 用 的 安全 网 关 (如 Email、 其 他 Web 应 用 等 ， 可 选 ) 。 
2.3.6 ”高 可 靠 


更 高 级 别 的 可 靠 性 一 直 被 公认 为 是 集约 陈 的 数据 中 心计 算 模 式 ， 相 比 传 
统 全 分 布 PC 计算 模式 ， 其 可 以 提供 贷 架 式 的 、 具 备 量化 服务 水 平 保障 
的 增值 特性 。 由 于 云 计算 技术 的 引入 ， 使 得 数据 中 心 系统 的 动态 计算 负 
载 可 以 进一步 以 与 上 层 应 用 无 关 的 形态 进行 跨越 硬件 服务 器 边界 的 调 
度 ， 同 时 数据 信息 也 可 通过 网 络 在 数据 中 心 内 不 同 持久 化 存储 和 计算 节 
点 内 存 之 间 ， 其 至 是 路 地 理 区 域 的 多 个 不 同 数据 中 心 之 间 进 行 容 灾 同 
步 ， 使 得 运行 于 云 平台 之 上 的 应 用 相 比 传统 方式 ， 可 将 更 多 的 精力 聚焦 
于 核心 业务 ， 而 将 可 靠 性 保障 留 给 云 计 算数 据 中 心 IaaS 服 务 层 来 提供 。 


高 可 靠 性 的 架构 属性 保 隐 涵盖 如 下 方面 。 














” 云 管 理 节 点 目 身 的 可 靠 性 保障 机 制 。 


” 承载 用 户 计 算 负 载 的 计算 三 点 的 故障 恢复 机 制 ， 计算 节点 本 地 
重启 故障 ， 以 及 不 可 本 地 重 司 类 的 异地 恢复 类 故障 发 生 时 ， 如 何在 
We 








” 云 计算 数据 中 心 整体 网 络 的 可 靠 性 保障 机 制 。 

> 。 云 存储 数据 连续 服务 与 数据 防 于 失 保障 机 制 ， 如 硬盘 故障 、 服 
务 器 故障 、 机 柜 / 机 框 ， 旋 至 整个 数据 中 心意 外 电源 及 网 络 故障 的 
容错 与 恢复 能 力 ， 
94 去 计算 解 决 方案 的 则 型 如 构 组 会 

落地 应 用 场景 


2.4.1 果 面 云 





基于 云 计算 总 体 架 构 下 的 更 面 云 解决 方案 ， 如 图 2-29 所 示 。 
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图 2-29 ”桌面 云 解 决 方案 架构 子 系统 组 合 


桌面 云 解决 方案 主要 基于 云 计算 平台 的 弹性 计算 、 弹 性 存储 、 操 作 运 维 
及 业务 发 放 管理 系统 功能 ， 通 过 集成 桌面 云 会 话 控制 管理 及 远程 虚拟 桌 
面 控制 代理 等 模块 ， 提 供 针对 企业 内 部 应 用 的 呼叫 中 心 桌 面 云 、 营 业 厅 
终 滑 课 面 云 、Offiee 办 公 宗 面 去 解决 方案 ， 以 及 面向 会 众 网 用 户 的 VDI 
租 业务 。 


其 主要 业务 流程 包括 : 








> 来 自 企 业 IT 系 统 或 运营 商 BOSS 系 统 的 桌面 云 发 放 命 令 ， 通 过 与 
云 计算 云 管理 平台 之 间 的 SOAP、RESTFUL API 接口， 交互 包含 标 
准 桌面 配置 规格 定义 的 VDI 业 务 发 放 / 撤 消 封 状 式 命令 ; 








> 云 管理 平台 的 BSS 系 统 对 VDI 业 务 发 放 命 令 进 行 解析 ， 将 该 命 
邻 分 解 为 指向 “桌面 会 话 网 关 ” 的 VDI 账 户 发 放 命令 ， 以 及 指向 “弹性 
计算 API 及 集群 调度 ”的 VDI 虚 拟 机 实例 发 放 命 令 ; 





” “桌面 会 话 网 关 ” 接 受 来 自 云 管理 平台 的 命令 创建 桌面 账户 ; 











= “弹性 计算 ?服务 部 分 接受 来 自 云 管理 平台 BSS 部 分 通过 的 EC2 兼 
容 接口 创建 符合 原始 及 帮 需 求 规 格 、 包 含 虚拟 果 面 服务 器 并 代理 的 


虚拟 机 镜像 ， 桌 面 服务 端的 EC2 耳 地 址 还 将 反馈 给 "桌面 会 话 网 


”NI; 


> “桌面 会 话 网 关 ” 接 收 来 自 VDI 瘦 终端 的 HTTP/HTTPS 桌 面 会 话 
登录 请 求 ， 通 过 云 计算 API 与 AAA 服 务 器 交互 ， 或 者 与 企业 
LDAP/AD 服 务 目 录 交 互 进行 用 户 身 份 鉴 权 ， 随 后 进一步 通过 EC2 
API 通 知 弹 性 计算 服务 启动 虚拟 机 的 运行 实例 ; 





” “弹性 计算 ”服务 通过 与 “弹性 存储 ”通过 SOAP 消 息 交 互 ， 完 成 指 
定 业 务 发 放 命令 中 指定 的 虚拟 存储 卷 的 挂 载 ， 其 中 包括 为 该 虚拟 分 
i 
台 化 局 动 ; 


” 用户 认证 通过 后 ， 将 用 户 所 用 VDI 瘦 终 病 通过 远程 果 面 协议 与 
数据 中 心服 务 器 相连 接 ， 建 并 果 面 会 话 ; 


”来自 瘦 终 并 的 客户 操作 通过 “加 面 流 化 协议 ”与 其 后 端 服务 的 虚 
拟 机 实现 交互 ， 完 成 实际 的 操作 动作 ; 


“构成 昌 面 云 解决 方案 的 弹性 计算 管理 服务 器 、 块 存储 及 对 象 存 
储 设 备 ，VDI 虚 拟 机 ， 栗 面 云 会 话 控制 网 天 ， 数 据 中 心 各 层 交 换 机 
( 接 入 / 旋 聚 /骨干 )， 防 火 墙 ， 果 面 云 特 有 的 负载 均衡 及 Cache 加 束 
设备 (LBS) 相关 的 监控 、 告 警 、 性 能 、 配 置 、 拓 扑 以 及 安全 管理 
等 ， 均 通过 符合 SOA 原 则 的 Web OM 对 象 化 API 接 受 云 管理 子 系统 
的 端 到 端 管 理 ; 


” “弹性 计算 ”的 智能 调度 算法 ， 可 以 为 有 效 提升 蜗 面 云 VDI VM 
在 整体 服务 器 集群 内 的 资源 利用 效率 ， 减 少 负载 不 均衡 导致 的 资源 
当 费 并 提升 节能 减 排 效 率 ， 以 及 实现 桌面 云 工作 负载 与 其 他 非 朱 面 
类 工作 负载 的 动态 调度 能 力 提 供 支 撑 ; 


> 由 于 “弹性 计算 ”内 所 有 服务 器 及 虚拟 机 共 孚 相同 的 “弹性 存 
储 ? 实 例 使 得 文 持 业界 最 大 规模 的 文 持 虚 拟 机 HA 及 在 线 热 迁 移 的 集 
群 成 为 可 能 ， 在 集群 内 的 服务 器 故障 可 以 快速 恢复 ， 从 而 实现 软 硬 
件 故 障 导 致 的 VDI 服 务 故障 影响 最 小 化 ; 


= 由 于 “弹性 存储 ?所 提供 的 块 存 储 跨 服务 器 、 路 机 柜 的 数据 可 靠 
性 元 余 机 制 〈2 份 或 3 份 找 贝 ) 可 以 为 桌面 云 功 能 提供 超越 PC 本 地 
存储 的 数据 可 靠 性 保障 ， 同 时 基于 对 象 存储 的 快照 机 制 以 及 寞 地 容 
灾 机 制 ， 使 得 果 面 云 数 据 在 更 大 灾难 及 生 时 也 有 机 会 还 原 为 最 近 一 
次 快照 时 刻 的 存储 数据 内 容 ; 


~ 针对 桌面 办 公 类 应 用 ， 采 用 软件 预 安装 模式 ， 除 基本 客户 机 操 
作 系 统 外 ， 进 一 步 增 加 终端 安 全 省 理 、Office 系 列 、UC 通 信 、 
Email、CRM、ERP 等 预 装 软 件 ， 并 可 根据 不 同 目标 市 场 ， 制 作 不 
同 的 虚拟 机 模板 ， 可 以 在 云 管理 平台 中 指定 不 同 虚拟 机 、 存 储 及 网 
络 带 宽 规 格 ， 甚 全 个 同 的 计 费 规则 《针对 公有 到 案 面 出 租 的 声 


京 ) oO 


2.4.2 存储 云 
基于 云 计 算 总 体 架 构 下 的 存储 云 解决 方案 ， 如 图 2-30 所 示 。 
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图 2-30 ”存储 云 解 决 方案 架构 子 系统 组 合 


云 仓 储 解 决 方 采 依托 云 计算 平台 的 弹性 存储 、 分 布 式 对 象 存储 ， 以 及 操 
作 运 维 及 业务 发 放 管 理 系 统 等 功能 ， 通 过 集成 第 三 方 的 企业 在 线 备份 软 
件 、 个 人 网 鼻 、 个 人 妊 体 上 载 及 共享 类 软件 ， 人 允许 云 存储 运 音 商 提供 面 
向 个 人 消费 者 用 户 的 廉价 /高 性 能 网 络 存储 服务 ， 以 及 面向 企业 用 户 的 
在 线 备份 及 恢复 类 服务 。 





在 云 存 储 平 台 与 企业 备份 /恢复 类 应 用 软件 以 及 个 人 网 盘 、 个 人 媒体 上 
载 /共享 类 软件 绑 定 部 署 销售 的 场景 下 ， 与 云 存储 应 用 用 户 的 Portal、UI 
交互 界面 及 其 与 应 用 相关 的 核心 业务 功能 〈 如 权限 管理 、 断 点 续 传 等 ) 
由 第 三 方 合作 的 应 用 软件 文 撑 ， 同 时 从 服务 器 端 或 直接 从 客户 端 调 

用 “弹性 存储 ”服务 的 对 象 存储 或 分 布 式 文件 系统 API (OBS/POSIX)， 实 
现 对 云 存 储 用 户 的 高 吞吐 量 、 超 大 容量 存储 内 容 的 读 写 及 其 元 数据 管 
理 。 该 模式 下 ， 用 户 的 计 费 主要 由 第 三 方 软件 负责 。 


运营 商 的 云 存 储 平台 以 IaaS 形 式 提供 与 第 三 方 合作 的 企业 备份 /恢复 类 应 
用 软件 ， 以 及 个 人 网 盘 、 个 人 媒体 上 载 /共享 类 软件 的 后 端 文 撑 ， 此 

时 “弹性 存储 ”提供 对 第 三 方 云 存 储 应 用 软件 的 多 租户 隔离 以 及 存储 空间 
和 IOPS/MBPS 访 问 流量 的 精确 计量 ， 以 便 为 云 存储 服务 商 与 第 三 方 增值 
服务 提供 商 之 间 的 计 费 结算 与 商业 分 成 提供 支撑 。 


“弹性 存储 ”提供 以 通用 服务 器 及 其 人 硬盘 为 基础 的 全 分 布 式 平台 ， 具 备 水 
平 无 级 扩展 、 超 大 容量 等 特点 ， 并 通过 瘦 分 配 、 路 用 户 的 重复 数据 删 

除 、 数 据 压 缩 等 大 幅 降低 云 存储 的 设备 及 运 维 成 本 ， 实 现 超 高 性 价 比 存 
储 方案 ， 提 升 云 存储 类 业务 的 利润 空间 。 


“弹性 存储 ?所 提供 的 块 存储 跨 服务 器 、 跨 机 柜 的 数据 可 靠 性 宛 余 机 制 

(2 份 或 3 份 拷贝 可 以 为 存储 云 功 能 提供 超越 PC 本 地 存储 的 数据 可 靠 

性 保障 ， 同 时 基于 对 象 存储 的 快照 机 制 和 异地 容 灾 机 制 ， 使 得 存储 云 数 
据 在 更 大 灾难 发 生 时 也 有 机 会 还 原 为 最 近 一 次 快照 时 刻 的 存储 数据 内 

容 。 





























2.4.3 ”IDC 托管 云 
基于 云 计 算 总 体 架 构 下 的 IDC 托 管 云 解决 方案 ， 如 图 2-31 所 示 。 
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图 2-31 IDC 托 管 云 解决 方案 架构 子 系统 组 合 


IDC 托 管 云 解决 方案 依托 云 计算 平台 的 弹性 计算 集群 、 弹 性 存储 集群 、 
分 布 式 结构 化 存储 服务 以 及 分 布 式 消息 队列 服务 ， 为 IDC 〈Internet 数 据 
中 心 ) 运营 商 提 供 ISP/ICP 多 租户 的 计算 与 存储 资源 的 托管 服务 。 


业务 应 用 与 TT 子 系 统 运 行 于 IDC 托 管 云 中 ， 素 属于 不 同 的 第 三 方 ISP/ICP 
以 及 企业 。IDC 托 管 云 依托 于 云 平 台 的 自动 化 、 虚 拟 化 基础 能 力 ， 实 现 
多 租户 的 分 权 分 域 的 安全 隔离 及 资源 共享 ， 相 比 传统 的 物理 服务 器 独占 
式 的 IDC 解 决 方案 ， 其 可 提供 高 出 3 一 5 倍 的 IDC 出 租 资源 利用 效率 ， 从 
而 有 效 提 升 IDC 托 管 类 业务 的 利润 率 。 


云 计算 中 云 管理 平台 的 BSS 子 系统 为 IDC 业 务 的 运营 发 放 、 资 费 定价 、 
后 计 费 、 实 时 付费 ( 按 资 源 规格 、 按 时 长 、 按 流量 ， 以 及 上 述 各 类 维度 
的 综合 ) 提供 了 强大 的 后 台 支 撑 。 如 果 用 户 (运营 商 ) 已 有 BSS 系 统 ， 
可 通过 云 计 算 API (EC2/S3 等 的 兼容 API) 与 用 户 已 有 的 后 台 BSS 系 统 进 
行 对 接 。 


除 虚 拟 化 计算 集群 资源 〈 含 虚拟 CPU 与 内 存 资 源 ， 以 及 挂 载 于 该 虚拟 机 
实例 之 下 的 系统 卷 及 数据 卷 块 存储 资源 ) 之 外 ， 云 计算 平台 还 提供 独立 
的 分 布 式 对 象 结构 化 存储 ， 分 布 式 消 轧 队列 等 超越 单机 物理 处 理 能 力 范 
畴 的 分 布 式 中 间 件 服务 (针对 运行 于 云 平 台 之 上 的 软件 ) ， 以 及 远程 接 
入 的 服务 能 力 “ 虚 拟 果 面 *( 针 对 云 平台 业务 的 直接 消费 者 〉。 


云 计 算 平 台 对 IDC 托 省 的 业务 应 用 的 管理 是 通过 业务 应 用 底层 的 操作 系 














统 来 完成 的 。 这 些 操作 系统 一 般 为 x<86 架 构 ， 如 Windows、Linux 以 及 

Unix。IDC 托 管 的 业务 应 用 也 可 以 与 操作 系统 一 起 打包 作为 一 体 化 的 虚 
拟 机 镜像 使 用 。 只 要 IDC 托 管 应 用 本 和 映 的 颗粒 上 度 不 超过 一 个 物理 服务 器 
的 场景 ， 则 不 存在 软件 兼容 性 问题 ， 但 需要 IDC 托 管 应 用 的 软件 管理 系 
统 实现 与 云 计算 平台 API 的 集成 ， 实 现 软 件 安 装 部 署 及 监控 维护 从 硬件 
平台 到 云 平台 的 迁移 ， 并 可 能 依赖 “运营 维 管子 系统 的 自动 化 应 用 部 署 
引擎 ， 实 现 跨越 多 个 应 用 虚拟 机 镜像 的 复杂 拓扑 连接 的 默认 模板 化 自动 
部 署 ， 从 而 有 效 提 升 大 型 分 布 软件 的 部 署 效 率 ， 这 是 目前 云 计 算 IDC 托 


管 的 主流 形态 。 


针对 分 布 式 对 象 存储 、 分 布 式 消息 队列 、 分 布 式 列 存储 数据 库 等 场景 ， 
则 需要 IDC 托 管 应 用 针对 其 业务 层 API 进 行 适 配 改造 ， 相 对 难度 较 高 ， 
IDC 托 管 应 用 一 般 是 云 计算 平台 生态 战略 联盟 内 的 云 应 用 合作 伙伴 。 








2.4.4” 企 ， 
基于 云 计 算 总 体 架 构 下 的 企业 私有 云 解决 方案 ， 如 图 2-32 所 示 。 
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图 2-32 企业 私有 云 解 决 方案 架构 子 系统 组 合 


伴随 全 与 网 络 搁 术 的 飞速 友 展 ，IT 信 息 系 统 对 于 企业 运作 效 紊 、 核 心 苋 





争 力 ， 以 及 企业 透明 化 治理 正在 起 痢 越 来 越 重要 和 无 可 丛 代 的 作用 ， 而 
企业 信息 集中 化 、 企 业 核心 信息 资产 与 商业 逻辑 的 规模 越 来 越 庞 大 ， 跨 
不 同上 家 IT 软 硬件 产品 的 集成 复杂 度 不 断 增 加 。 企 业 IT 系 统 的 如 构 正在 
从 传统 的 与 特定 厂家 硬件 平台 及 管理 系统 绑 定 的 客户 端 /服务 器 (B/S、 


C/S) 架 构 向 更 为 集中 化 的 统一 整合 平台 架构 的 方向 演进 。 云 计算 平台 与 
企业 IT 应 用 层 软 件 的 结合 ， 尤 其 是 基于 虚拟 机 的 弹性 计算 服务 、 虚 拟 网 
络 服务 、 虚 拟 果 面 服务 、 分 布 式 块 存储 、 对 象 存储 服务 、 文 件 系 统 服务 
以 及 与 之 配套 的 自动 化 运 维 管控 的 能 力 ， 使 得 企业 I 系统 可 以 更 高 效 地 
0 
实现 节能 讽 o 


在 保障 业务 运行 效率 与 性 能 不 下 降 的 前 提 下 《计算 、 存 储 资源 配额 ， 业 
务 访 问 时 延 等 ) ， 通 过 将 原 有 直接 运行 在 x86 服 务 器 硬件 平台 之 上 的 企 

业 IT 软 件 迁 移 到 虚拟 化 平台 ， 将 企业 IT 软 件 相 关 的 存储 数据 (数据 库 / 文 
件 格式 ) 迁移 到 分 布 式 块 存储 或 者 传统 IP-SAN 存 储 ， 可 以 充分 利用 弹 

性 计算 平台 的 跨 服 务 器 边界 的 资源 分 配 与 热 迁 移 能 力 ， 实 现 多 个 相对 独 
立 的 开 软 件 应 用 在 虚拟 机 资源 池内 动态 共享 ， 以 及 削 峰 错 谷 的 负载 均衡 
调度 ， 并 实现 不 同 应 用 的 分 级 QoS 〈 硬 件 资源 下 限 ) 策略 保障 ， 实 现 I 全 
资源 利用 效率 从 平均 20% 一 30% 到 60% 一 70% 的 提升 。 同 时 在 系统 轻 载 

的 情况 下 ， 通 过 将 轻 载 虚 拟 机 迁移 到 少数 物理 服务 器 ， 可 实现 更 多 空闲 
人 
减 排 效 率 。 


借助 云 计算 平台 的 虚拟 果 面 〈 即 曲面 云 ) 能 力 ， 可 以 实现 企业 员工 PC 
办 公 的 计算 与 存储 能 力 回 数据 中 心 的 集中 化 迁移 ， 实 现 核心 信息 资产 与 
用 户 接 入 访问 终端 的 解 簿 和 和 剥离。 虚拟 桌面 具有 绿色 、 节 能 、 安 全 隔离 
及 移动 接 入 能 力 方 面 的 优势 。 除 了 对 办 公 PC 的 改造 之 外 ， 虚 拟 桌 面 也 
是 最 终 企业 员工 接 入 到 后 端 IT 应 用 业务 的 必 由 界 面 和 通道 。 


借助 面向 大 型 分 布 式 应 用 软件 的 云 计 算 自 动 化 、 模 板 化 部 署 ， 通 过 故障 
自动 修复 管理 能 力 ， 运 行 态 自动 伸缩 管理 工具 ， 弹 性 计算 、 虚 拟 网 络 、 
虚拟 桌面 与 企业 IT 管理 系统 〈 含 可 选 的 ITIL 子 系统 ) 的 无 缝 集成， 可 以 
实现 IT 应 用 软件 与 底层 IT 硬件 与 网 络 基 础 设施 的 彻底 解 碍 ， 利 用 标准 化 
的 虚拟 应 用 部 署 模 板 〈( 描 述 格式 如 OVF〉 大 幅度 “70%) 缩短 IT 软件 应 
用 的 上 线 部 署 效率 ， 以 及 降低 业务 在 线 运营 的 容量 规划 与 故障 维护 的 复 
杂 度 ， 有 效 提升 IT 服 务 支持 企业 核心 业务 的 SLA 水 平和 效率 ， 从 而 促进 
企业 生产 率 的 同步 提升 。 


云 计 算 的 分 布 式 对 象 存 储 、 半 结构 化 存储 《〈 列 存储 数据 库 ) 以 及 消 恩 队 
列 能 力 ， 对 于 企业 私有 云 来 说 ， 是 可 选 的 高 层 云 平台 能 力 。 其 适用 于 企 
业 定 制 开 发 新 型 应 用 ， 比 如 : 企业 /行业 搜索 引擎 ， 基 于 企业 IT 系统 海 
量 日 志 或 统计 类 数据 仓库 的 商业 智能 挖掘 与 分 林 ， 以 便 指 导 企 业 的 业务 

















规划 策略 的 调整 优化 等 以 大 数据 集 作 为 输入 和 输出 的 软件 ， 是 性 价 比 最 
优 的 选择 。 但 这 部 分 云 平 台 能 力 在 企业 私有 云 中 一 般 无 法 适用 于 面 癌 实 
时 在 线 事务 及 交易 类 的 应 用 形态 。 原 因 是 这 些 云 平 台 的 API 与 单机 通用 
操作 系统 (Windows、Linux、Unix 等 ) 下 的 文件 系统 、 进 程 间 通 信和 以 
及 数据 库 访 问 API 都 是 不 兼容 的 ， 而 业界 大 多 数 企 业 IT 应 用 软件 、 丙 业 
操作 系统 以 及 数据 库 〈( 如 Oracle) 软 件 是 运行 在 通用 操作 系统 之 上 的 。 


2.4.5 数据 分 析 云 
基于 云 计 算 总 体 架构 下 的 大 数据 分 析 云 解决 方 琳 ， 如 图 2-33 所 示 。 


大 数据 分 析 云 解决 方案 为 海量 静态 数据 批 处 理 以 及 大 流量 动态 流 数 据 处 
理 为 关键 特征 的 企业 及 行业 应 用 场景 提供 支撑 ， 通 过 自动 化 提取 与 归纳 
价值 信息 实现 业务 增值 。 大 数据 分 析 云 由 云 计算 的 并 行 数据 分 析 与 挖掘 
平台 所 文 撑 ， 可 充分 利用 云 计 算 底层 能 力 创造 最 大 价值 。 


在 海量 静态 数据 批 处 理 的 场景 下 ， 大 数据 分 析 平 台 需 要 充分 分 析 经 过 相 
当 长 一 段 时 间 积 累 的 、 存 储 容量 庞大 的 历史 数据 《如 话 单 、 日 志 、 话 统 
言 轧 等 ) 。 大 数据 分 析 平 全 的 并 行 数 据 处 理 引 擎 进一步 依赖 于 弹性 计算 
集群 、 弹 性 存储 服务 、 分 布 式 结构 化 存储 服务 以 及 分 布 式 消 恩 队列 服 
务 ， 为 诸如 互联 网 电子 商务 网 站 用 户 、 电 信 运 营 丙 的 BSS/OSS 系 统 、 视 
频 娱 乐 类 网 站 、 搜 索 关 网 站 等 提供 服务 。 大 数据 分 析 平 台所 提供 的 服务 
类 型 包括 : 信息 库 精细 化 搜索 、 用 户 消费 行为 日 志 分 析 、 系 统 运行 日 志 
分 析 以 及 集中 监控 信 令 信息 的 智能 分 析 和 挖 气 。 这 些 大 数据 分 析 服 务 为 
精确 定位 广告 推送 、 网 络 运 维 优化 、 基 于 用 户 消 费 趋 势 分 析 的 销售 集 略 
等 商业 运营 提供 策略 决策 性 文 撑 。 
































数据 分 析 数据 分 析 了 区 有 系统 
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图 2-33 ”大 数据 分 析 云 解决 方案 架构 子 系统 组 合 


在 流量 动态 数据 流 处 理 的 场景 下 ， 其 关键 特征 在 于 对 来 目 于 数量 庞大 的 
信息 源 所 产生 的 动态 事件 与 动态 数据 (比如 来 自 电 信和 网 络 实时 检测 的 信 
令 信息 、 来 自 于 众多 车 辆 GPS 的 定位 信息 、 来 自 物 联 网 终端 实时 采集 的 
信息 等 )， 在 一 个 相对 较 短 的 时 间 窗 口内 ， 进 行动 态 数 据 的 流水 线 方式 
自动 关联 分 析 与 处 理 ， 并 给 出 及 时 、 准 确 和 智能 的 执行 策略 决策 ， 为 特 
定 业 务 目 标 服 务 〈《 如 大 规模 智能 交通 云 、 物 流 云 的 构建 ) 。 与 上 数据 
批 处 理 在 分 割 、 合 并 与 混 排 等 中 间 步 又 所 涉 及 的 大 量 持久 化 存储 IO 交 
互 方面 的 特征 相 比 ， 其 最 大 差异 处 在 于 ， 数 据 流 处 理 过 程 更 讲究 处 理 的 
及 时 性 与 敏捷 控制 能 力 ， 因 此 处 理 过 程 主要 在 内 存 中 完成 。 流 处 理 与 批 
处 理 可 以 统一 在 相同 的 框架 引擎 之 下 。 

为 便于 广大 第 三 方 应 用 开发 编程 人 员 以 及 云 计算 平台 生态 系统 的 合作 伙 
伴 充 分 独立 于 海量 数据 批 处 理 以 及 流 处 理 业 务 的 内 部 实现 架构 细节 ， 可 
在 并 行 数据 分 析 引 人 擎 与 并 发 应 用 之 间 设 置 SQL/ 类 SQL 适 配 与 翻译 层 ， 提 
供 开 及 人 员 所 熟知 的 SQL 或 类 SQL 规 范 语言 进行 海量 数据 的 操作 。 
2.4.6 交 去 

基于 云 计 算 总 体 架构 下 的 数据 库 云 解决 方案 ， 如 图 2-34 所 示 。 

数据 库 云 主要 指 基于 云 平台 构建 的 结构 化 / 半 结 构 化 数据 库 处 理 系统 。 


数据 库 云 可 以 基于 虚拟 化 平台 ， 也 可 以 基于 物理 平台 直接 构建 。 


























在 性 能 要 求 高 的 场景 下 ， 一 般 基 于 物理 平台 构建 ， 系 统 无 需 弹 性 计算 部 
分 《图 中 虚线 表现 ) ， 而 在 要 求 容量 很 大 、 应 用 用 户 很 多 的 情况 下 ， 则 
可 采用 基于 虚拟 化 平台 构建 的 形式 。 


数据 库 云 一 般 以 数据 库 一 体 机 的 形态 出 现 ， 会 在 以 下 方面 做 一 些 增 强 。 
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图 2-34 ”数据 库 云 解决 方案 架构 子 系统 组 合 
” 数据 库 加 速 : 为 取得 更 好 的 数据 库 性 能 ， 会 在 硬件 层 、 弹 性 存 
储 层 做 垂直 层面 的 深入 调 优 ， 例 如 采用 读 写 更 快 的 SSD 卡 ， 和 采用 面 
问 数 据 库 独特 的 读 写 算法 。 
” 数据 库 加 固 : 为 保证 数据 库 数据 不 丢失 、 不 损坏 ， 会 在 中 间 件 
服务 层 增 加 数据 库 的 备份 /恢复 、 容 灾 、 定 期 校 验 等 服务 ， 提 高 妆 
据 的 可 用 性 。 
2.4.7 媒体 云 


基于 云 计算 总 体 染 构 下 的 媒体 云 解决 方案 ， 如 图 2-35 所 示 。 














中 间 件 服务 层 





数据 服务 层 















资源 服务 与 
调度 层 





云 调 朋 
弹性 网 络 API 
及 资源 调度 
虚拟 网 络 物理 网 
接 入 适 配 磊 || 接 入 适 配 
软件 定义 网 络 
DN 控制 器 


络 
A 器 
VxLAN + vSwitch 


F 凶 扼 鸭 
UvP||Kkvml| txc || Esx |lHyper:V >- : 
高 性 能 分 布 式 存 铺 引擎 ， 
「 ) 聚 FWI/R 
物理 资源 层 (mm sn |[ 加 ss | [ 于 合 一 体 机 ] | SAN J ]|m 交换 || 核心 交换 ||LBs/DHCP 
Ll | 
图 2-35 ”媒体 云 解 决 方案 架构 子 系 统 组 合 


媒体 云 解决 方案 依 托 云 计算 平台 的 弹性 计算 集群 、 弹 性 存储 集群 、 分 布 
式 结构 化 存储 服务 以 及 分 布 式 消 奶 队列 服务 ， 为 广电 系统 电视 台 企 业 提 
供电 效率 的 媒体 存储 、 编 辑 及 缓存 加 速 的 计算 与 存储 资源 托管 服务 。 


媒体 云 采 用 云 平 台 的 关键 驱动 力 ， 来 源 于 面 癌 公共 媒体 传播 的 广播 电视 
行业 〈 包 括 国 家 及 地 方 电视 台 、 广 播 电台 ) 从 模拟 传统 卡 融 陈 存储 回 全 
面 的 数字 媒体 化 方向 的 发 展演 进 。 在 此 过 程 中 ， 数 字 化 内 容 与 云 数 据 信 
恩 需 进行 大 规模 集约 化 存储 、 处 理 以 及 分 发 。 这 些 需求 包括 媒体 的 采 

集 、 编 辑 、 播 放 控 制 、 首 视频 媒体 转 码 、 管 理 等 各 方 面 的 软件 处 理 需 

求 。 目 前 国内 外 业界 (如 中 科大 洋 、 索 贝 等 ) 已 纷纷 推出 针对 媒体 采集 
编 播 的 专业 化 软件 ， 这 些 软件 重点 聚焦 于 解决 媒体 内 容 资源 的 应 用 层 的 
业务 处 理 ， 但 在 对 底层 的 服务 器 及 存储 硬件 基础 能 力 提升 方面 仍然 缺乏 
具 昧 ， 如 增强 服务 器 存储 硬件 的 使 用 效率 ， 如 何以 更 低 的 成 本 提供 更 大 
的 存储 空间 、 处 理 能 力 和 IO 吞吐 带宽 ， 可 徘 性 容 灾 能 力 ， 以 及 按照 业 
务 需求 分 配 弹 性 可 伸缩 的 资源 池 等 。 只 有 上 述 专 业 化 的 媒体 管理 软件 与 
云 平台 能 力 紧 密 结合 ， 才 能 实现 媒体 数据 中 心 基 础 设施 硬件 资源 利用 率 
的 提升 ， 实 现 节能 减 排 ， 获 得 最 优 的 较 硬 件 整体 性 价 比 。 


云 计算 平台 对 于 媒体 云 数 据 中 心 的 核心 价值 在 于 以 下 几 点 。 


” 海量 存储 能 力 : 来 源 于 各 种 片 源 的 音 视 频 媒 体内 容 信息 本 刁 的 
持久 化 存储 ， 由 于 数据 量 庞大 、 存 储 周 期 长 〈3 个 月 ) ， 采 用 传统 
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的 Scale-up 模 式 的 RAID 控 制 方式 存储 在 性 价 比方 面 已 越 来 越 难以 满 
足 媒体 云 规模 化 运营 的 需求 。 同 时 ， 媒 体 云 的 多 项 业务 ， 尤 其 是 视 
频 / 音 频 媒 体 的 编辑 制作 以 及 在 线 播 放 ， 都 对 存储 与 计算 资源 之 间 
的 高 IO 吞 吐 率 (IOPS/MBPS) 提出 了 更 高 的 要 求 。 满 足 这 些 需 求 
依赖 于 引入 支持 无 级 水 平 扩 展 的 Scale-out 存 储 。 





” 跨 业 务 共享 的 计算 、 存 储 资 源 共 享 与 均衡 : 针对 媒体 云 应 用 层 
软件 的 不 同业 务 类 别 〈 采 、 编 、 播 、 存 、 管 等 ) 在 同一 时 间 段 的 资 
源 占用 情况 差别 巨大 的 特点 ， 通 过 引入 云 平台 ， 采 用 统一 的 资源 池 
平台 支撑 资源 的 自动 伸缩 、 动 态 错 峰 削 谷 与 负载 均衡 ， 通 过 SOA 
Web Service/REST 接 口 与 应 用 层 软件 交互 实现 目 动 化 的 资源 管理 能 
力 ， 平 均 资 源 占 用 率 可 以 从 20% 提 升 到 70% 以 上 。 











~ 并 行 计 算 与 海量 处 理 能 力 : 针对 媒体 云 普遍 所 需 的 不 同 的 视频 
格式 之 间 的 动态 转换 (TS、H.264、MP4、AVI、RMVB 等 ) 需 
求 ， 由 于 媒体 文件 尺寸 庞大 ， 计 算 能 力 需 求 密度 高 ， 通 过 最 大 限度 
提高 编 解码 的 并 行 度 ， 可 充分 利用 可 获得 计算 资源 对 大 媒体 文件 分 
而 治之 ， 有 效 缩短 编码 处 理 所 需 时 间 ， 以 资源 换取 时 间 ， 大 幅度 提 
升 业 务 处 理 效 率 。 其 他 诸如 广告 推送 等 增值 业务 ， 也 可 依赖 于 并 行 
数据 分 析 与 处 理 平 台 实 现 基 于 用 户 消 费 行为 历史 数据 分 析 的 智能 化 
与 自动 化 的 广告 策略 制定 与 发 布 。 


“分 布 式 缓存 与 加 速 : 为 缓解 广大 互联 网 用 户 点 播 热点 多 媒体 内 
容 引 发 巨 量 带宽 需求 与 有 限 互 联网 广 域 连接 市 宽 的 赴 盾 ， 需 要 在 媒 
体 云 数据 中 心 对 媒体 内 容 进行 分 片 ， 并 目 动 识别 用 户 访问 热点 。 热 
点 内 容 被 目 动 推送 到 分 布 式 网 络 节 点 缓存 ， 供 用 户 就 近 访 问 ， 从 而 
绥 解 集中 访问 的 带宽 压力 。 组 人 存 的 内 容 与 云 数 据 中 心 的 源 内 容 会 定 
期 同步 ， 以 保证 用 户 看 到 的 内 容 为 最 新 内 容 。 


2.4.8 言 NEV 云 
基于 云 计算 总 体 架构 下 的 电信 NFV 云 解决 方案 ， 如 图 2-36 所 示 。 
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图 2-36 ”电信 NEFV 云 解决 方案 架构 子 系统 组 合 


NFV (Network Function Virtualization 网 络 功 能 虚拟 化 ) 则 在 通过 研究 标 
准 IT 虚拟 化 技术 ， 使 得 电信 网 络 设备 的 功能 能 够 以 软件 方式 运行 在 符合 
行业 标准 的 大 容量 通用 的 服务 器 、 交 换 机 和 存储 设备 中 去 。 这 里 的 软件 
可 以 根据 需要 在 网 络 中 不 同位 置 的 硬件 上 安装 和 印 载 ， 不 需要 安装 新 的 
硬件 设备 。 简 单 地 说 ，NEFV 就 是 在 平台 层 引 入 云 计算 平台 ， 实 现 电信 网 
元 纯 软 件 化 和 硬件 设备 解 耦 。 


电信 NFV 云 通过 引入 云 计 算 平台 ， 主 要 要 解决 运营 商 如 下 几 大 问题 。 
提高 硬件 投资 收益 比 


I 采用 通用 人 硬件 一 方面 可 以 大 大 降低 成 本 ， 男 一 方面 开通 新 的 
业务 时 也 不 需要 更 换 人 硬件， 只 要 升级 相应 的 软件 即 可 。 


提高 业务 部 车 的 灵活 性 

由 于 NEFV 使 得 软件 和 硬件 解 簿 ， 也 就 是 说 运营 商 的 业务 可 以 灵活 部 普 在 
不 同 机 框 和 不 同 机 房 ， 在 不 同 地 域 的 硬件 上 部 署 ， 那 么 相 比 传统 业务 部 
蜀 来 说 自然 是 极 大 地 提高 了 灵活 性 。 


快速 部 著 业 务 




















软 便 件 解 厢 带 来 的 最 大 好 处 束 是 设备 商 可 以 专注 于 纯 软 件 层 面 的 研发 ， 
在 已 有 的 软 硬 件 部 普 下 ， 新 的 业务 研发 周期 会 大 大 缩短 ， 运 营 商 也 能 和 
到 快速 部 效 业 务 的 甜头 。 

自动 扩容 和 节能 减 排 


由 于 虚拟 化 技术 的 文 撑 ， 网 络 智能 调度 资源 的 能 力 大 幅 提升 。 在 业务 压 
力 增加 时 网 络 智能 调度 系统 可 以 通过 自动 增加 网 络 资源 来 缓解 业务 压 
力 ; 在 业务 闲暇 时 可 以 通过 上 自动 地 删 减 网 络 资源 实现 节能 减 排 。 


降低 了 设备 商 的 准 入 门槛 
硬件 设备 通用 了 ， 软 件 接口 也 通用 了 ， 毫 无 疑问 ， 设 备 商 的 准 入 门槛 也 
Re 0 0 
最 想 看 到 的 。 


NFV 希 望 电信 网 元 纯 软 件 化 ， 同 时 又 需要 提供 电信 级 5 个 9 的 蜗 可 靠 性 服 
务 ， 因 此 对 云 计 算 平 台 需 要 有 更 高 的 要 求 。 


云 计算 平台 对 于 电信 NFV 云 的 核心 价值 在 于 : 




















” 电信 应 用 由 于 可 徘 性 要 求 ， 对 应 用 的 虚拟 机 之 间 的 半 和 性 关系 
Ri 





“电信 级 服务 意味 着 5 个 9 的 高 可 靠 性 ， 对 于 服务 中 断 时 间 有 着 严 
奇 的 要 求 ， 通 过 硬件 故障 快速 检测 和 故障 快速 通知 技术 ， 电 信 应 用 
能 够 快速 感知 故障 ， 并 及 时 进行 目 愈 机制 的 启动， 减少 业务 中 断 时 
间 。 


> 作为 NFV 基 础 设施 ， 提 供与 应 用 无 关 的 高 可 靠 性 特性 : 
HA (High Availability) 特性 主要 在 服务 器 出 故障 时 提供 虚拟 机 冷 
备 机 制 ， 轻 量 级 FT (Fault Tolerance) 为 面向 网 络 VO 的 应 用 提供 热 
备 机 制 以 及 跨 数 据 中 心 的 虚拟 机 容 灾 机 制 。 


” 针对 NFV 进 行 云 计算 转发 面 的 优化 ， 使 得 YM 到 VM 之 间 的 转发 
性 能 可 提升 到 可 以 满足 电信 网 元 的 要 求 。 


>  ” 云 计 算 平台 利用 存储 虚拟 化 技术 把 所 有 服务 器 本 地 HDD、 
SAN、NAS 组 合 起 来 构建 超大 规模 存储 资源 池 ， 利 用 服务 器 的 内 

存 /Flash/SSD 构 建 分 布 式 高 性 能 大 容量 近 端 cache 网 格 ， 服 务 器 机 头 
可 同步 横向 扩展 ， 加 速 1O 读 写 能 力 。 同 时 ， 云 存储 资源 池 可 提供 
基于 SLA 的 分 级 存储 服务 。 











> 云 计 算 的 自动 化 和 模板 化 “TOSCA、HOT、CloudFormation、 
OVF 等 ) 特性 可 大 幅度 提高 电信 应 用 和 I 二 软件 应 用 的 上 线 效率 。 云 
计算 的 故障 自动 修复 和 自动 伸缩 管理 能 力 可 大 幅度 降低 业务 在 线 运 
营 与 故障 维护 的 复杂 度 。 








” 电信 NFV 古 大 规模 复 林 系 统 ， 从 电信 应 用 到 IT 的 各 种 应 用 ， 包 
罗 万 象 ， 服 务 海量 用 户 ， 在 线 生 成 海量 数据 。 云 计算 的 结构 化 数据 
库 、 分 布 式 对 象 存储 、 半 结构 化 存储 〈 列 存储 数据 库 ) 以 及 消 奶 队 
列 等 中 间 件 能 力 ， 为 电信 NFV 带 来 广泛 的 运营 基础 能 力 ， 满 足 日 益 
增长 的 新 老 应 用 的 基础 能 力 需 求 ， 加 快 新 业务 和 新 运营 应 用 的 上 线 


能 力 。 
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3.1 云 计算 领域 开源 软件 概览 


云 计算 是 一 个 很 大 的 系统 ， 它 的 设计 实现 涉及 硬件 的 实现 ， 涉 及 虚拟 化 
内 核 的 选择 ， 涉 及 各 种 计算 /存储 /网 络 虚 拟 化 技术 的 选择 ， 涉 及 云 资 源 
的 申请 和 管理 ;不 同 的 公司 可 能 采用 不 同 的 方法 来 实现 。 然 而 ， 云 计算 
的 理念 就 是 要 提供 像 电 一 样 的 公共 产品 ， 那 它 必 然 就 涉及 标准 和 开放 问 
题 ， 否 则 各 系统 无 法 互通 ， 惑 无 法 最 后 构建 真正 的 一 个 大 云 。 正 是 基于 
此 ， 本 章 就 先 来 讨论 在 云 计算 领域 的 相关 开源 软件 ， 讨 论 其 历史 和 优 缺 
扩 ， 使 得 后 续 大 家 选择 实现 云 计算 产品 的 时 候 能 做 到 更 好 的 通用 性 。 


云 操 作 系统 开源 软件 


在 云 计算 领域 ， 开 源 云 计算 的 软件 主要 有 OpenStack、CloudStack、 
OpenNebula、Eucalyptus， 参 与 人 员 的 数量 和 活跃 程度 、 页 献 程度 义 以 
OpenStack、CloudStack 为 主 。 其 中 OpenStack 开 源 社 区 由 于 其 架构 的 开 
放 性 和 灵活 的 可 扩展 性 ， 呈 现 出 后 来 居 上 的 趋势 ， 参 与 人 员 数 量 和 公司 
都 有 一 骑 绝 尘 的 态势 (参考 将 清 野 对 开源 社区 的 跟踪 研究 http:// 
www.gyjohn.net/?p=3399)。 本 书 针 对 开源 云 计 算 软 件 的 介绍 ， 重 点 围绕 
OpenStack、CloudStack 展 开 ， 并 特别 强调 作为 开源 软件 ， 软 件 架构 的 开 
放 性 、 可 扩展 性 对 生态 系统 构建 的 重要 性 。 


Hypervisor 开 源 软 件 


Hypervisor 领 域 ， 既 有 闭 源 的 ESXi、HyperV， 也 有 开源 的 Xen、KVM。 
Xen 发 展 时 间 长 ， 功 能 丰富 ， 也 得 到 了 广泛 的 应 用 ，KVM 作 为 Linux 内 
核 集 成 虚拟 化 技术 ， 则 得 到 了 广泛 的 社区 支持， 快速 发 展 ， 也 是 
OpenStack 社 区 最 常用 的 Hypervisor， 不 少 企 业 和 电信 运营 商 更 是 指定 云 
建设 必须 基于 KVM。 


3.2 ” Cloud OS 开源 软件 : Cloudstack 





























2008 年 ，CloudStack 为 初创 公司 VMOps 的 一 个 项 目 ， 后 来 公司 更 名 为 
Cloud.Com，2011 年 7 月 ，Cloud.com 被 Citrix 收 购 ， 其 全 部 源 代 码 都 贡献 
到 开源 社区 。2012 年 4 月 ，Citrix 把 CloudStack 贡 献 到 Apache 作 为 明 化 项 
目 ， 并 于 2013 年 3 月 正式 毕业 ， 成 为 Apache 的 一 个 正式 开源 项 目 ， 软 件 
Licence 为 Appache 2.0 Licence。 


CloudStack 面 问 企 业 私 有 云 和 公有 云 。 作 为 IaaS 的 云 计算 平台 ， 
CloudStack 兼 容 多 种 Hypervisor， 如 XenServer、VMWare VCenter、 
Oracle VM、KVM 等 虚拟 机 以 及 裸 金属 物理 机 的 资源 发 放 ; 在 存储 的 文 
持 上 ， 基 本 上 覆盖 了 本 地 磁盘 、iSCSI、FC、NFS 等 类 型 的 存储 设备 ; 
网 络 则 文 持 不 同类 型 的 网 络 隔离 ， 提 供 防 火场 、VPN、 负 载 均衡 服务 。 


3.2.1 Cloudstack 的 总 体 架 校 


CloudStack 的 软件 架构 如 下 : 系统 的 主要 部 分 由 Management ” Server 和 
MySQL 组 成 。Management ”Server 通 过 XenAPI 管 理 XenServer 虚 拟 机 集 
群 ， 通 过 vCenter API 管 理 vCenter 的 虚拟 机 集群 ， 通 过 CloudStack 上 自己 的 
Agent 管 理 KVM 虚 拟 机 集群 。 通 过 Management Server 对 最 终 用 户 和 管理 
员 提 供 UI 和 API 服 务 。 


CloudStack 提 供 系统 虚拟 机 用 于 完成 系统 管理 的 作用 ， 比 如 Secondary 
Storage VM 负责 对 模板 、 快 照 、ISO 镜 像 等 进行 管理 ， 比 如 Console 
ProxyVM 用 于 提供 虚拟 机 的 VNC 服 务 。 对 于 租户 的 网 络 服务 ， 可 以 通过 
网 络 硬件 实现 (比如 F5、NetScale、Juniper SRX 等 ) ， 也 可 以 通过 虚拟 
机 实现 (比如 Router)。 因 此 Management Server 需 要 对 这 些 系统 VM 进行 
管理 ， 同 时 也 要 对 网 络 人 硬件 进行 管理 用 于 提供 虚拟 网 络 服务 。 


由 于 CloudStack 早 期 由 Cloud.com 开 发 ， 后 又 被 Citrix 收 购 ， 系 统 设计 之 
初 对 于 规模 和 架构 的 开放 性 考虑 相对 较 少 就 在 所 难免 。 在 成 为 Apache 的 
正式 开源 项 目 之 后 ， 则 面临 着 非 Citrix 和 非 Cloud.com 人 员 是 否 能 够 快速 
进入 开发 、 降 低 人 员 参 与 社区 的 门槛 等 问题 ， 同 时 随 着 实际 使 用 和 区 付 
的 增多 ， 不 同 广 家 的 软 人 硬件 能 力 的 集成 以 及 系统 规模 管理 能 力 都 时 刻 考 
验 软 件 架 构 是 否 能 够 文 撑 。 软 件 架 构成 了 CloudStack 开 源 社区 是 否 吸 引 
生态 系统 的 参与 、 是 否 可 持续 发 展 的 决定 性 因素 〈 见 图 3-1) 。 
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图 3-1 ”CloudStack 的 软件 架构 
例如 ， 可 能 会 遇 到 以 下 问题 。 


(1) 是 否 可 以 增加 定制 的 API? 不 同 集成 商 针对 不 同 的 客户 可 能 有 不 同 
的 功能 要 求 ， 是 否 能 够 在 架构 上 简单 地 增加 定制 化 API， 而 且 不 需要 修 
改 CloudStack 源 代码 ， 最 好 也 不 需要 重新 编译 ， 使 用 CloudStack 社 区 原 
生 版 本 即 可 做 到 。 


(2) 是 否 可 以 根据 客户 的 需要 ， 增 加 调度 机 制 而 不 需要 修改 CloudStack 
的 源 代码 ， 也 不 用 重新 进行 CloudStack 的 编译 和 发 行 版 本 ? 比如 ， 对 于 
一 个 由 多 个 虚拟 机 组 成 的 应 用 ， 有 的 虚拟 机 需要 特殊 网 卡 、 特 殊 的 网 络 
虚拟 化 加 速 ， 而 另外 一 些 虚拟 机 和 该 虚拟 机 有 互 斥 部 普 的 要 求 ， 其 中 菏 
些 虚 拟 机 又 必须 部 署 在 同一 物理 主机 。 


CloudStack 贡 献 到 Apache 之 后 ， 在 不 断 做 架构 上 的 重 构 〈 见 图 3-2) 。 希 
望 从 原来 紧 耦 合 的 Java 应 用 服务 器 架构 修改 成 基于 组 件 化 服务 的 架构 ， 
如 把 API 服 务 和 多 资源 协同 调度 分 离 出 来 ， 把 Identity 管 理 和 权限 管理 与 
API 分 离 ， 业 务 处 理 逻 辑 和 数据 库 分 离 ， 对 于 系统 规模 增 大 后 资源 消耗 
大 的 状态 管理 和 计量 管理 独立 为 Usage 服 务 ， 通 过 这 样 独立 的 组 件 服 
务 ， 能 够 为 系统 带 来 水 平 扩展 能 














Rest API 服务 器 资源 
。 可 选 的 ， 只 需要 在 必要 时 暴露 配置 API 给 管理 员 
。 可 选 的 ， 在 插件 需要 
和 资源 并 置 时 选用 
。 执行 翻译 层 来 与 资源 
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“ 利用 JSON 与 服务 器 
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数据 接 入 层 





图 3-2 基于 组 件 化 服务 的 架构 
对 于 现 有 系统 架构 的 重 构 是 非常 困难 的 一 件 事 情 ， 不 能 一 路 而 就 ， 比 如 
在 4.2 版 本 引入 第 三 方 UI 的 Plugin 机 制 ， 在 最 新 版 本 4.3 中 也 开始 提供 API 


的 Plugin 机 制 ， 人 允许 增加 定制 化 的 API。 而 且 从 CloudStack4.3 开 始 ， 继 续 
对 架构 进行 解 奈 ，Spring 框 以 的 使 用 引入 了 模块 的 目 动 发 现 及 加 载 。 


开发 者 除了 使 用 系统 已 经 定义 好 的 API， 还 可 以 自 定义 出 系统 管理 用 的 
API。 


当前 可 以 开发 Plugin 的 API 主 要 如 表 3-1 所 示 。 
表 3-1 开发 Plugin 的 API 





API 接 口 名 称 说 明 

NetworkGuru 网 络 隔 离 和 IP 地 址 管理 ， 主 要 用 于 Layer 2 的 实 
现 

NetworkElement 网 络 服 务 (如 DHCP、DNS、LB、VPN、Port 
Forwarding 等 ) 


DeploymentPlanner 。 虚拟 机 调度 器 ， 用 来 实现 不 同 种 类 的 调度 算法 
Investigator 主机 和 虚拟 机 的 状态 监控 


Fencer 未 知 状态 虚拟 机 的 隔离 〈 比 如 一 个 物理 主机 网 
络 中 断 ， 系 统 判 断 需 要 在 另外 Fencer 的 物理 主机 
重启 原 物理 主机 上 的 虚拟 机 ， 但 是 后 来 网 络 连接 
又 恢复 了 ， 束 会 出 现 虚 拟 机 状态 的 冲突 。 此 时 惑 
需要 Fencer， 该 功能 比较 复杂 ， 所 以 这 样 的 特性 
不 容易 稳定 ) 

UserAuthenticator 鉴 权 认证 方法 

SecurityCheckerACL ”访问 控制 

HostAllocator 主机 分 配方 法 

StoragePoolAllocator ” 块 存储 分 配方 法 


图 3-3 ”是 展开 后 Management Server 的 功能 结构 图 ， 在 独立 的 服务 之 间 
引入 Message Bus， 同 时 各 种 类 型 的 资源 通过 Event Bus 把 状态 事件 信息 
传送 到 使 用 服务 器 。 在 API 上 对 外 提供 兼容 EC2 的 API， 分 为 三 种 角色 授 
权 不 同 用 户 以 不 同 API 的 访问 权限 : Root Admin、Domain Admin 和 


User。 
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图 3-3 ”Management Server 功 能 结构 





前 面谈 到 CloudStack 的 系统 能 力 可 以 通过 LB+Management Server 集 群 来 
水 平 扩展 ， 这 种 水 平 扩展 能 力 是 基于 Managerment Server 完 全 无 状态 ， 
其 上 层 处 理 逻 辑 和 底层 数据 库 分 离 之 后 ， 通 过 水 平 增加 Management 
Server 数 量 来 应 对 系统 负 硬 的 增长 ， 水 平 扩 展 的 极限 会 出 在 MySQL 数 据 
库 上 。 实 际 上 ， 在 Management Server 内 还 有 消 恩 总 线 (Message Bus 和 
Event Bus)， 随 着 主机 数量 的 增加 ， 消 恩 总 线 的 可 扩展 能 力 同 样 可 能 成 
为 系统 的 性 能 瓶颈 。 处 理 方式 可 以 通过 资源 分 片 ， 由 Managerment 
Server 只 负责 相应 部 分 资源 的 处 理 ， 好 处 是 限定 了 Management Server 需 
要 处 理 的 负荷 上 限 ， 硅 来 的 问题 则 是 增加 了 Management Server 之 间 的 交 
互 ， 在 资源 扩展 的 时 候 以 及 Management Server 的 成 员 管理 上 都 增加 了 资 
源 重 新 切 分 的 逻辑 复杂 性 。 


3.2.2 Cloudstack 的 资源 管理 
CloudSstack 的 简化 版 软件 部 署 架 构 ， 如 图 3-4 所 示 。 


Management Server 


Hypervlsor 





Hypervisor 








管理 服务 器 物理 主机 物理 主机 
图 3-4 ”CloudStack 简 化 版 软件 架构 


典型 地 ，CloudStack 会 使 用 一 台 服 务 器 作为 管理 服务 器 ， 运 行 
CloudStack 的 Management Server， 用 于 管理 一 台 或 者 多 台 物 理 主 机 上 的 
虚拟 机 。 在 非 生 产 环 境 下 ， 也 可 以 在 一 台 服 务 器 上 甚至 是 笔记 本 的 虚拟 
机 上 运行 整个 CloudStack。 


Management Server 可 以 运行 在 独立 的 物理 服务 器 上 ， 也 可 以 运行 在 虚拟 
机 上 。 其 主要 的 功能 如 下 : 














> 为 CloudStack 的 管理 员 提 供 WebUI， 同 时 也 提供 API/CLI 的 访问 
方式 ; 


” 虚拟 机 的 分 配 管理 ; 


” 虚拟 机 存储 资源 的 管理 ， 以 及 挂 载 存储 资源 到 虚拟 机 ; 
” 提供 快照 、 模 板 、 镜 像 的 管理 和 复制 ; 


” 网 络 资源 管理 ， 如 创建 虚拟 网 络 ， 把 虚拟 机 加 入 虚拟 网 络 ， 进 
行 公有 或 者 私有 耳 地 址 管理 ， 部 普 负 载 均 衡 ， 防 火 寺 等 。 


作为 生产 环境 的 云 平台 ， 在 不 同 的 场合 ， 物 理 主机 的 数量 极为 不 同 ， 小 
到 几 台 物理 主机 ， 大 到 分 布 在 全 球 各 地 的 多 个 数据 中 心 。 因 此 云 平台 必 
须 具 备 管 理 不 同 规模 物理 主机 的 能 力 ， 但 是 存储 和 网 络 服务 的 范围 不 可 
能 无 限 大 ，CloudStack 对 物理 主机 进行 的 资源 域 规模 划分 ， 如 图 3-5 所 

Rs 











其 包括 如 下 级 别 。 
(1) Host: 物理 主机 。 


(2) Cluster: 同 质 物理 主机 集群 ， 在 该 集群 上 ， 共 享 存储 ， 虚 拟 机 可 
以 进行 热 迁移 ， 物 理 主 机 同 在 一 个 二 层 网 络 ， 使 用 相同 的 Hypervisor， 
一 般 是 一 个 机 架 内 范围 。Cluster 范 围 限制 主要 取决 于 共享 存储 容量 大 
小 ， 因 为 热 迁 移 要 求 在 共享 存储 的 基础 上 进行 。 因 为 热 迁 移 特 性 和 HA 
特性 〈High Availability， 一 个 物理 主机 坏 掉 之 后 ， 这 个 物理 主机 上 运行 
的 虚拟 机 在 同一 个 Cluster 中 的 其 他 物理 服务 器 上 重启 运行 ) 有 各 种 诉 
求 ， 比 如 必须 是 相同 的 Hypervisor、 需 要 虚拟 机 的 系统 卷 在 共享 的 存储 
上 ， 这 样 可 以 根据 需要 在 不 同 的 物理 主机 局 动 这 个 虚拟 机 。 
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图 3-5 ”CloudStack 资 源 域 概念 


(3) Pod: Pod 是 比 Cluster 更 大 的 一 个 主机 集合 ，Pod 范 围 内 的 物理 主机 
都 同 处 于 一 个 二 层 网 络 内 ，Pod 的 范围 主要 受 限 于 二 层 网 络 的 范围 。Pod 
内 可 以 是 同 质 的 物理 主机 ， 也 可 以 不 是 :Pod 内 可 以 划分 为 几 个 
Cluster， 每 个 Cluster 分 别 有 上 自己 的 共享 存储 ; 当然 ， 在 CloudStack 里 
面 ， 并 没有 限制 说 ， 一 个 Pod 内 的 多 个 Cluster 不 能 共享 同一 个 存储 。 如 
果 在 Pod 内 不 做 虚拟 机 的 热 迁移 ， 则 Pod 内 不 同 Cluster 可 以 是 非 同 质 的 
Hypervisor， 也 就 是 每 个 Cluster 可 以 有 上 自己 的 Hypervisor。Pod 通 党 是 一 
个 机 柜 ，Pod 对 最 终 用 户 并 不 可 见 ， 只 对 管理 员 可 见 。Pod 与 Pod 之 间 的 
网 络 可 以 是 两 层 互通 ， 也 可 以 是 三 层 互通 。 


(4) Zone: 物理 隔离 的 主机 集合 ， 通 党 指 一 个 数据 中 心 ， 也 营 常 指 一 
组 物理 主机 的 网 络 边 界 ，Zone 之 外 就 是 外 网 了 ，Zone 可 以 有 上 自己 的 防火 
浊 、 路 由 堪 、VPN 等 服务 。Zone 的 概念 等 同 于 Amazon 的 Availability 
Zone。Zone 之 内 并 不 要 求 是 一 个 二 层 网 络 ， 可 以 是 多 个 二 层 网 络 。 对 于 
最 终 用 户 来 说 ，Zone 是 一 个 可 见 的 资源 位 置 概念 ，Zone 与 Zone 之 间 的 物 
理 资 源 和 虚拟 资源 是 不 共享 的 ， 比 如 虚拟 机 模板 就 不 共享 ， 也 就 是 说 在 
创建 虚拟 机 的 时 候 ， 必 须 显 式 地 指定 Zone 进行 创建 。 在 CloudStack 中 ， 
一 个 用 户 可 见 的 Zone 有 两 种 : 一 种 是 CloudStack 中 的 Public Zone， 对 所 
有 租户 都 是 可 见 的 ， 还 有 一 种 Zone， 是 只 对 某 一 个 用 户 集合 才 可 见 。 


























(5) Region: 一 个 Region 实 际 上 就 是 一 个 CloudStack 管 辖 的 范围 。 多 个 
Region 就 需要 通过 其 他 软件 来 管理 多 个 CloudStack 了 。 一 个 Region 可 以 
只 包含 一 个 Zone， 也 可 以 是 多 个 ， 所 以 Region 范 围 理 论 上 来 说 可 以 是 大 
到 多 个 数据 中 心 ， 小 到 只 有 一 个 Zone、 一 个 Pod、 一 个 Cluster。 


(6) Primary Storage: 虚拟 机 运行 需要 的 系统 卷 和 数据 卷 都 存放 在 
Primary Storage， 因 为 要 文 持 虚 拟 机 热 迁 移 、HA 等 特性 ， 因 此 往往 在 一 
个 Cluster 内 共享 一 个 Primary Storage， 也 可 以 几 个 Cluster 共 享 同 一 个 
Primary Storage， 甚 至 大 到 一 个 Zone 内 的 虚拟 机 共享 同一 个 Primary 
Storage; 但 是 不 会 出 现 一 个 Cluster 内 多 个 Primary Storage 的 情况 ， 从 软 
件 设计 来 说 ， 要 文 持 跨 存储 的 迁移 特性 会 肪 烦 一 些 。CloudStack 的 
Primary Storage 文 持 分 级 存储 ， 就 是 当 最 终 用 户 要 创建 虚拟 机 的 时 候 ， 
可 以 指定 在 何 类 存储 上 创建 虚拟 机 ， 以 满足 虚拟 机 对 存储 性 能 的 不 同 要 
求 。 不 过 这 意味 着 选择 不 同类 型 的 存储 ， 会 在 不 同 的 Cluster 创 建 虚 拟 
机 。 当 前 Primary Storage 文 持 以 下 类 型 的 存储 ， 但 是 并 不 是 每 一 种 
Hypervisor 都 文 持 下 面 所 有 类 型 的 存储 ; 











” 1SCSI 
” NES 
” FC 


” Local Storage 


(7) ”Secondary Storage: 主要 用 于 存储 写 入 次 数 少 而 读 取 次 数 多 的 数 
据 ， 如 虚拟 机 模板 、ISO 镜 像 、 破 盘 卷 快照 。Secondary Storage 作 用 范 
较 大 ， 往 往 是 一 个 Zone 或 者 一 个 Region 部 署 一 个 Secondary Storage。 
CloudStack 主 要 文 持 NFS 存 储 作 为 Secondary Storage， 当 前 也 在 提供 
Plugin 用 于 接 入 OpenStack 的 Swift 或 者 AWS 的 S3。 


针对 上 述 资源 划分 的 方法 ，CloudStack 的 物理 资源 一 般 如 下 设计 ， 在 一 
个 Pod 内 包含 几 个 Cluster， 每 个 Cluster 有 数 个 物理 服务 器 ，Pod 通 过 二 层 
交换 机 进行 汇集 ， 接 入 到 3 层 核 心 交 换 机 。 一 个 Zone 内 共享 一 个 


Secondary Storage， 一 个 Cluster 共 享 一 个 Primary Storage〈 见 图 3-6) 。 
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图 3-6 ”CloudStack 概 念 示意 图 


作为 一 个 面向 商用 交付 的 云 管 理 软件 ， 需 要 兼容 多 种 不 同 的 
Hypervisor， 这 些 Hypervisor 可 能 同时 部 署 ， 也 可 能 一 种 生产 环境 只 部 署 
一 种 Hypervisor。 因 此 ，Management Server 需 要 能 够 文 持 异 构 多 
Hypervisor。 对 于 VMware 的 接 入 ，CloudStack 主 要 是 通过 vCenter 的 API 
来 进行 管理 ， 其 高 级 特性 ， 如 HA、LiveMigration 等 实际 由 vCenter 来 实 
现 ， 因 此 较为 成 熟 ， 同 样 地 ， 对 于 整个 CloudStack 可 以 管理 的 系统 规模 
来 说 ， 因 为 多 了 一 层 vCenter 管 理 层 ， 其 规模 可 以 较 容 易 达 到 更 大 的 规 
模 ， 比 如 1 万 物理 主机 。 而 对 于 KVM， 由 于 没有 vCenter 这 样 的 虚拟 化 管 
理 层 ， 是 通过 在 KVM 主 机 部 署 一 个 Agent，Agent 再 去 调用 Libvirt 的 接口 
来 进行 的 ， 因 此 一 些 vCenter 有 的 高 级 特性 (DRS、FT、HA、Live 
Migration 等 实现 就 相对 晚 一 些 ， 也 没有 这 么 成 熟 。CloudStack 要 进行 
KVM 的 管理 ， 由 于 KVM 本 身 没 有 Cluster 的 概念 ， 也 缺少 vCenter 的 这 样 
虚拟 化 管理 层 ， 因 此 其 管理 功能 都 集中 到 了 CloudStack 的 Management 
Server， 因 此 针对 KVM 的 整体 系统 规模 很 难 达 到 接 入 vCenter 同 等 的 系统 








规模 〈 见 图 3-7) 。 
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图 3-7 ”CloudStack 兼 容 多 种 不 同 的 Hypervisor 


在 大 规模 的 生产 环境 中 ， 一 般 至 少 是 在 一 个 Pod 或 者 Zone 级 别 采 用 同一 
种 Hypervisor， 在 一 个 Pod 内 的 不 同 Cluster 采 用 不 同 的 Hypervisor 可 能 性 
非常 小 ， 很 多 场景 是 在 整个 CloudStack 的 管理 域 只 采用 一 种 Hypervisor， 
无 论 对 于 管理 还 是 维护 工作 都 会 相对 简单 。 


通过 Management Server 的 Cluster 部 署 可 以 管理 更 大 的 规模 〈 见 图 3- 
8) 。 由 于 当前 Management ”Server 主 要 采用 MySQL 作 为 数据 存储 的 后 
端 ， 而 MySQL 的 Cluster 并 不 是 非常 成 熟 和 好 用 ， 因 此 Management 
Server 当 前 的 规模 主要 是 通过 扩展 多 个 Management Server 来 进行 的 ， 在 
多 个 Management Server 上 提供 负载 均衡 ， 数 据 库 则 采用 主 备 方式 提供 可 
靠 性 ， 系 统 的 瓶 贷 最 终 存 在 于 数据 库 的 性 能 。 当 然 CloudStack 可 以 把 后 
端 数据 存储 改 为 其 他 提供 商用 集群 能 力 的 数据 库 ， 但 是 成 本 驶 上去 了 。 
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图 3-8 ”Management Server 的 Cluster 部 署 


CloudStack 可 以 在 一 个 Region 内 进行 多 数据 中 心 的 管理 ， 一 个 数据 中 心 
可 以 部 署 一 个 到 多 个 Zone， 多 数据 中 心 的 管理 主要 是 管理 这 些 数据 中 心 
的 Zone，Zone 之 间 要 求 用 低 时 延 网 络 互 联 ( 见 图 3-9) 。CloudStack 
Management Server 需 要 和 部 赣 在 物理 主机 的 Agent 或 者 
vCenter/XenServer 虚 拟 化 管理 软件 通信 ， 因 此 跨 数 据 中 心 管理 网 络 必须 
联通 且 管 理 网 络 为 内 网 ， 也 可 以 把 vCenter 直 接 对 应 到 CloudStack 的 Zone 
概念 上 。 
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图 3-9 CloudStack 多 数据 中 心 管理 


从 理论 上 来 说 ， 要 求 Management Server 可 以 跨 数据 中 心 管理 Zone 是 可 以 
的 ， 但 是 实际 部 普 的 时 候 需要 考虑 系统 的 健壮 性 ， 比 如 : 如 采 部 普 
Management Server 的 数据 中 心 不 可 访问 ， 则 所 有 数据 中 心 的 资源 都 处 于 
不 可 管理 状态 ， 因 此 一 般 会 要 求 把 Management Server 部 署 在 两 个 数据 中 
心 ， 数 据 中 心间 数据 库 MySQL 做 实时 备份 。 


3.2.3 Cloudstack 的 虚拟 机 管理 
CloudStack 提 供 基 本 的 虚拟 机 管理 能 力 ， 包 括 虚 拟 机 的 生命 周期 管理 


《创建 、 司 动 、 停 止 、 重 局 、 删 除 ) ， 以 及 通过 VNC 远 程 访问 虚拟 机 ， 
查看 虚拟 机 状态 及 虚拟 机 弹性 伸缩 《 见 图 3-10) 。 
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图 3-10 ”CloudStack 虚 拟 机 管理 能 力 


AAA 


3.2.4 CloudStackH]: 庄 官 


CloudStack 提 供 虚 拟 机 块 存储 管理 ， 可 以 为 虚拟 机 做 卷 的 CRUD， 以 及 
从 卷 创 建 模板 和 快照 进行 卷 快 照 和 模板 的 管理 〈 见 图 3-11) 。 
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一 个 典型 的 Zone 内 的 物理 组 网 如 下 ，Management Server 和 数据 库 

MySQL 部 署 在 一 个 管理 网 络 ， 所 有 Pod 内 的 物理 主机 和 存储 也 都 需要 连 

接 到 这 个 管理 网 络 ， 这 样 Management Server、 

vCenter/XenServer/Agentc、 存 储 管 理 软件 之 间 才 能 够 通过 消息 总 线 进行 

通信 。 事 件 和 计量 数据 也 可 以 通过 管理 网 络 汇 总 到 UsageServer。 在 管理 
Storage， 用 于 存储 虚拟 机 模板 、 快 照 、ISO 镜 像 等 
(《 风 图 3-12) 。 
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图 3-12 ”Zone 内 物理 组 网 


如 下 为 一 个 Pod 内 的 典型 物理 网 络 连接 。Pod 区 换 机 一 般 会 是 一 对 ， 上 所 有 
Pod 内 的 物理 主机 都 由 上 行 口 连接 到 两 个 Pod 交 换 机 ， 交 换 机 的 上 行 口 推 
荐 10Gb 和 带宽 。 物 理 主机 和 存储 都 连接 到 管理 网 络 ， 同 时 物理 主机 还 要 
配置 租户 用 的 一 个 或 者 多 个 网 络 。 如 果 租 户 网 络 需要 连接 外 网 ， 则 物理 
主机 也 需要 连接 到 一 个 外 网 网 络 〈 见 图 3-13) 。 


对 于 CloudSstack 的 租户 来 说 ， 其 租户 网 络 只 能 在 一 个 Zone 内 ，Zone 之 间 
的 同一 个 租户 的 网 络 只 能 通过 路 由 的 方式 访问 。 


CloudStack 给 最 终 用 户 提 供 三 种 类 型 的 虚拟 网 络 〈 见 图 3-14) 。 
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图 3-13 ”Pod 内 典型 物理 网 络 连接 
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图 3-14 ”CloudStack 的 多 租户 虚拟 网 络 


(1) 共享 网 络 : 所 有 不 同 账户 的 虚拟 机 都 在 一 个 共 至 网 络 内 ， 虚 拟 机 
之 间 通 过 安全 组 进行 隔离 。 


(2) 隔离 网 络 : 为 租户 提供 二 层 隔 离 的 虚拟 网 络 。 租 户 内 的 虚拟 机 可 
以 分 布 在 不 同 的 Pod 内 。 


图 3-15 示 例 了 Guest1 和 Guest2 两 个 隔离 网 络 ，IP 地 址 可 以 重 奢 。 
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图 3-15” ”IP 地址 可 以 重 欠 的 虚拟 网 络 


一 /一 


(3) 运行 时 网 络 : 所 有 定义 的 虚拟 网 络 资源 ， 只 有 当 第 一 个 虚拟 机 加 
入 这 个 网 络 的 时 候 才 进行 创建 ， 当 最 后 一 个 虚拟 机 删除 的 时 候 ， 虚 拟 网 


络 资源 也 被 回收 。 


CloudStack 可 以 为 虚拟 网 络 配置 网 络 服务 ， 包 括 : DHCP、DNS、 源 地 
址 NAT、 静 态 NAT、 端 口 转 及 、 人 负载 均衡 、 防 火场 、VPN、 为 指定 使 用 
的 某 种 网 络 设备 提供 网 络 服务 、 指 定 使 用 某 个 物理 网 络 。CloudStack 默 
认为 虚拟 网 络 创建 一 个 系统 YM， 包含 DHCP、SNAT、Router 三 个 功 
能 ， 确 保 租户 网 络 内 的 虚拟 机 自动 分 配 卫 ， 能 够 通过 SNAT 和 Router 访 


问 外 网 。 


CloudStack 也 文 持 复杂 多 层 应 用 的 虚拟 网 络 ， 图 3-16 为 一 个 典型 的 多 层 
Web 应 用 ， 应 用 分 为 数据 库 层 、App 层 和 Web 层 ， 每 一 层 都 有 多 个 虚拟 
Router 虚 拟 机 提供 网 关 功 能 ，Web 


机 ， 每 一 层 通 过 CloudStack 的 Virtual 
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图 3-16 ”CloudStack 支 持 复 杂 多 层 应 用 虚拟 网 络 


3.3 ”Cloud OS 开源 软件 : OpenStack 


2010 年 7 月 ，NASA 与 RackSpace 一 拍 即 合 ，NASA 贡 献 Nova，RackSpace 
拿 出 Swift， 创 立 OpenStack。 经 过 三 年 的 发 展 ，OpenStack 已 经 成 为 当前 
最 炙手可热 的 云 计算 开源 社区 。 


OpenStack 是 一 个 自在 为 公有 云 及 私有 云 的 建设 与 管理 提供 软件 的 开源 

项 目 。 从 2012 年 推出 到 2014 年 初 ，OpenStack 已 经 吸引 了 超过 190 家 公司 
和 超过 15 000 名 开发 者 。 让 它 在 短 时 间 内 声名 远 播 的 是 其 拥有 着 IBM.、 

HP、 AT&T、 Red Hat、 SUSE、Canonical、Cisco、Dell、VMware、 华 
为 这 样 的 强力 文 持 者 。 


越 来 越 多 的 企业 乐于 使 用 那些 不 是 以 单一 厂商 主导 的 云 计 算 基础 设施 ， 
开源 软件 项 目 可 以 帮助 他 们 摆脱 对 茶 类 产品 的 强大 依赖 ， 无 论 从 开放 
性 、 灵 活性 还 是 成 本 上 来 说 ， 开 源 软 件 都 是 一 个 非常 好 的 选择 。 
OpenStack 秉 承 开 放 的 理念 ， 获 得 了 用 户 和 开发 者 的 广泛 认同 ， 已 成 为 
业界 最 有 影响 力 和 发 展 前 景 的 云 计算 开源 项 目 。 


3.3.1 ”OpenStack 的 总 体 架 榴 














ee 由 一 组 离散 的 服务 组 成 〈 见 图 3-17、 
3-2) 。 
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图 3-17 ”OpenStack 的 总 体 架 构 


表 3-2 ”OpenStack 由 一 组 离散 的 服务 组 成 


服 服务 名 摘 述 

务 称 

GUI Horizon 提供 Web GUI 与 各 个 OpenStack 服 务 进行 交互 ， 使 
得 用 户 能 够 进行 虚拟 机 管理 、 卷 管理 、 虚 拟 网 络 管 
理 、 分 配 IP 地 址 、 挂 载 卷 、 虚 拟 机 加 入 虚拟 网 络 、 
设置 访问 控制 策略 等 

身份 Keystone 癌 所 有 其 他 的 OpenStack 服 务 提 供 鉴 权 和 认证 服 

服务 务 ， 提 供 基 于 RBAC 的 用 户 管理 、 服 务 目 录 管 理 


计量 
监控 
服务 

编排 
服务 


Nova 


Swift 


Cinder 


Glance 


Neutron 


Ceilometer 


Heat 


虚拟 机 发 放 和 管理 服务 ， 通 过 Driver 机 制 ， 文 持 绝 
大 多 数 当 前 已 知 的 Hypervisor 
类 似 Amazon S3 的 文件 存储 和 访问 服务 


器 虚 拟 机 提供 持久 化 块 存储 服务 


提供 虚拟 机 的 镜像 管理 ，Nova 必 须 依赖 虚 拟 机 镜 
像 来 启动 虚拟 机 

用 于 创建 和 管理 虚拟 网 络 ， 同 OpenStack 其 他 服务 
提供 网 络 连接 即 服 务 的 能 力 ;， 可 以 在 虚拟 网 络 创建 
虚拟 问 口 ， 然 后 把 虚拟 机 插入 到 这 个 虚拟 的 网 络 端 
口上 ; Neutron 具 备 插 件 化 的 架构 以 支持 现实 世界 
林林总总 的 网 络 设备 和 技术 

提供 OpenStack 的 监控 和 计量 服务 ， 用 于 计 费 、 统 
计 、 标 杆 比 对 、 弹 性 伸缩 等 


提供 HOT (Heat Orchestration Template) 模板 和 兼 
容 AWS CloudFormation 模 板 的 应 用 编排 引擎 ， 既 提 
供 OpenStack 的 API， 也 提供 AWS 兼 容 的 API 


实际 上 ，OpenStack 一 开始 的 架构 并 不 是 如 图 3-17 所 显示 这 样 的 ， 也 是 
一 步 一 步 快速 演进 过 来 的 。OpenStack 基 本 上 保持 每 半年 发 布 一 个 版 本 
的 节奏 ， 在 快速 进化 中 不 断 优化 架构 和 增加 服务 能 力 ， 表 3-3 展 示 了 


OpenStack 的 进化 能 


版 本 
Austin 


Bexar 


表 3-3” ”OpenStack 的 发 展 


”发布 时 包含 的 服务 


旧 


2010 年 Nova, Swift 


10 月 


2011 年 2 Nova, Glance, Swift 


月 
Cactus ”2011 年 4 Nova, Glance, Swift 


局 

Diablo ”2011 年 9 Nova, Glance, Swift 
月 

Essex 2012 年 4 Nova, Glance, Swift, Horizon, Keystone 
月 

Folsom 2012 年 9 ”Nova, Glance, Swift, Horizon, Keystone, Quantum, 
月 Cinder 

Grizzly 2013 年 4 Nova, Glance, Swift, Horizon, Keystone, Quantum, 
月 Cinder 


Havana 2013 年 ”Nova, Glance, Swift, Horizon, Keystone, Neutron, 
10 月 Cinder, Heat, Ceilometer 


OpenStack 社 区 把 项 目 分 成 三 类 ， 能 够 在 一 个 版 本 中 发 布 的 项 目 称 为 
Core Project〔 核 心 项 目 ) 。 要 进入 核心 项 目 ， 首 先进 入 到 孵化 项 目 列表 
中 ， 经 过 孵化 、 评 估 后 ， 达 到 核心 项 目的 要 求 才 会 批准 进入 到 下 一 个 版 
本 进行 发 布 〈 见 图 3-18) 。 任 何人 都 可 以 递交 想法 和 项 目 到 OpenStack 
社区 ， 由 社区 评估 认为 将 来 OpenStack 发 展 必 须要 有 的 能 力 ， 会 批准 进 
入 孵化 项 目 阶段 。 





Emerging Projects 批准 昆 杏 进入 
风化 项 目 
Pre-Release 
RCI(Relcase) Milestone-proposed 
Incubated Projects 是 否 j 失 代 里 程 丰 
人 RC2…( 如 果 没有 稳定 人 
OpenStack Stable Release 
Core 
Projects 下 一 个 Release 计 划 阶 段 : Milestone-proposed 
Core Projects 1 持续 4 周 ; 迭代 里 程 碎 


辅助 项 目 
Milestone-proposed 


秋 代 里 程 碑 





图 3-18 ”OpenStack 的 运作 过 程 


每 个 正式 发 布 的 核心 项 目 ， 在 上 一 个 版 本 即将 结束 、 下 一 个 版 本 开始 前 
的 4 周 内 收集 各 种 需求 、 创 建设 计 和 讨论 ， 然 后 进入 下 一 个 版 本 的 开 
发 ， 一 般 一 个 版 本 分 成 3 个 里 程 碑 ， 以 6 个 月 一 个 版 本 的 节奏 不 断 滚动 向 


i 


有 。 


OpenStack 能 够 快速 进化 ， 除 了 社区 参与 人 员 和 厂家 众多 ， 与 架构 也 有 
着 莫大 的 关系 。OpenStack 的 架构 设计 遵循 这 些 原 则 : 





” 伸缩 性 和 弹性 是 我 们 的 主要 目标 ; 
” 任何 会 约束 我 们 目标 的 特性 都 是 可 选 的 ; 


> 。 一 切 都 应 该 是 异步 的 ， 如 果 不 能 异步 ， 那 么 参考 第 2 条 进行 设 
计 ; 


” 所 有 必 选 服务 部 件 必 须 是 可 以 水 平 扩 展 的 ; 

” ”总 是 使 用 Shared ”Nothing 的 架构 或 者 Sharding 技 术 〔 切 分 技 
术 ) ， 如 果 做 不 到 Shared Nothing 或 者 Sharding， 那 么 参考 第 2 条 进 
行 设计 ; 

” 一 切 都 应 是 分 布 式 的 ， 特 别 是 处 理 逻 辑 ; 

” 接受 最 终 的 一 致 性 ， 尽 可 能 地 贯彻 这 一 原则 ; 

” 测试 一 切 ， 所 有 递交 的 代码 都 应 进行 测试 。 


下 面 我 们 通过 典型 服务 部 件 来 看 OpenStack 为 什么 能 够 吸引 如 此 多 的 人 
参与 ， 并 快速 进化 。 


3.3.2 ”OpenStack 的 计算 服务 Nova 


Nova 的 架构 如 图 3-19 所 示 。 
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图 3-19 Nova 的 架构 
各 模块 功能 如 表 3-4 所 示 。 
表 3-4 各 模块 功能 


模块 功能 
Nova- 提供 NOVA 服 务 的 OpenStack API 接 口 
Api 
Nova- 以 Cell 方 式 大 规模 部 署 Nova 服 务 时 ，Nova 提 供 的 API 接 口 
Api-Cell 
Nova- ”提供 Cells 级 联 功能 ， 主 要 作用 是 以 Cells 为 单元 提供 超大 规 
Cells 模 的 能 力 ， 当 部 署 了 Cells 服 务 的 时 候 ，Cells 服 务 完 成 Cell 这 
一 层 的 调度 
Nova- 是 一 个 或 多 个 AZ (Availability Zone) 的 调度 器 ， 用 于 在 一 
Scheduler 个 AZ 或 多 个 AZ 中 寻找 符合 创建 虚拟 机 条 件 的 物理 主机 。 一 
Scheduler 个 Cells 中 可 以 包含 多 个 AZ 
Nova- 在 每 一 个 物理 主机 中 都 部 署 Nova-Compnute 服 务 ， 此 服务 用 
Compute “于 该 物理 主机 节点 的 虚拟 机 操作 
Nova- Nova-Condutor 主 要 是 屏蔽 挥 数据 库 的 操作 ， 使 得 每 一 个 部 
Conductor 件 不 需要 直接 和 数据 库 打交道 ， 数 据 库 可 以 水 平 扩 展 而 不 
影响 其 他 服务 访问 数据 库 的 能 
AMQP ”模块 之 间 的 消息 总 线 ， 社 区 用 RabbitrMQ 的 比较 多 


下 面 以 Grizzly 版 本 的 源 代 码 分 析 ， 从 创建 虚拟 机 的 过 程 分 析 其 源 代 码 就 
可 以 看 出 Nova 在 架构 和 实现 上 的 开放 扩展 能 力 。Grizzly 版 本 创建 虚拟 机 
流程 和 Havana 及 之 后 版 本 有 所 不 同 ，Grizzly 版 本 是 从 Nova-Api 直 接 到 
Nova-Scheduler 服 务 ， 而 Havana 版 本 则 先 到 Nova-Conductor，Nova- 
Conductor 再 调用 Nova-Scheduler 进 行 调度 ,但 是 并 不 妨碍 我 们 对 Nova 开 
放 性 及 扩展 能 力 的 理解 。 


在 源 代 码 中 ， 首 先 请 求 被 传递 到 Servers.py 这 个 脚本 文件 的 Controller 类 
的 create 函 数 ， 这 个 函数 把 消息 参数 全 部 解析 出 来 ， 然 后 传送 给 被 调用 
的 函数 。 创 建 虚 拟 机 的 请 求 携带 了 几 个 参数 ， 在 所 有 的 函数 调用 和 处 理 
中 都 会 一 路 传递 下 去 ， 可 以 用 于 自 定义 扩展 能 力 ， 如 user_data、 
metadata、injected_files、scheduler_hints 〈 见 图 3-20、 图 3-21) 。 















Nova.conf{ 配 置 中 设置 
compute api_class=nova.comput | 创建 虚拟 机 请 求 http:/i...tenant_id/servers 
¢ APIT 
a 、 EN 消息 请 求 发 送 到 NOVA 了 服务 ， 由 python 央 本 
NOVA-API Servers.py class Controller def create(self, req, body): Servers.py 的 Controller 类 进行 处 理 
NOVA-API Apipy class API J 
def create(self, context, instance_ty 


ype, 
image Ke el id=None, toe id=None, 


Servers.py 的 create 函 数 把 消息 请 求 中 的 参数 提取 出 来 以 后 ， 调 用 


APLpy 脚 本 中 APIl 类 的 create 函 数 进 行 处 理 ， 带 有 解析 后 的 参数 ey 





block 3 i None, access_ip_v4=N. 
access ip v6=None, requested networks= None, 1 g_drive=None. (0) 
auto_disk_config=None, sc chedule er_hints=None): 















4 
用 户 是 否 有 该 操作 ( 堪 拟 机 / 敬 
络 创建 权限 ) 的 策 吵 进 行 检查 es 
def_create_instance(self, context, instance_type, v 


image_href Kernel id ramdisk_id, 
min_count, max_count, 
display_name, display_description, 
key_name, key ， Se -group。 





block_device_mapping, auto_disk_config, 
reservation_id=None, scheduler "hints=None) 











图 3-20 ”Nova API 创 建 虚拟 机 的 过 程 1 


_create_instance(self... 


NOVA-API Apipy class API | 


(instances,request_spec, filter_properties)=/ ”1 
sclf.validate_and provision instance(context,instance_type, 2 a Nova-AP! 
image_href.kemel idramdisk id ! bn 
ge_hrefkemel idramdisk idmin co | 
max_count,display namedisplay description。 


对 参数 进行 检查 ， 并 合并 到 Request_spec 


ilability_zone, 
acess_ip_v6,requested_networks,config drive， ss_ip_v4, 人) 


block_device_mapping,auto_disk_config, 
reservation_id,scheduler_hints) 









1 Nova-Scheduler 
self.scheduler_rpcapi.run_instance(context, 
request_spec=request_spec, 
admin_password=admin_password,Injected files=injected_files, 


requested_networks=requested_networks,is_first_time=True, 
filter.proceertier=filter.proceertier) 


(O) 对 Scheduler 进 行 远程 调用 
i 拟 机 的 主流 程 如 上 图 ， 当 系 乡 


中 不 需要 Cells 时 ， AR/ 服务 置换 把 放 
求 发 到 Scheduler 服 务 


Nova-Compnutc 





图 3-21 NovaAPI 创 建 虚拟 机 的 过 程 2 


Nova-API 对 参数 进行 检查 合并 等 处 理 后 ， 调 用 Nova-Scheduler 去 选择 可 
以 分 配 虚 拟 机 的 主机 。 如 果 有 Nova-Cells 服 务 ， 创 建 虚拟 机 的 请 求 会 先 
到 Nova-API Cell， 然 后 通过 Nova-Cells 服 务 选 择 Cell 之 后 ， 再 传递 到 
Nova-Scheduler( 见 图 3-22) 。 


Nova-Scheduler 接 受到 请 求 之 后 ， 会 通过 scheduler-driver_opt 选 项 获得 配 
置 的 具体 调度 器 Driver 是 哪 一 个 ， 默 认 的 调度 器 Driver 是 
nova.Scheduler.filter scheduler.FilterScheduler， 这 个 默认 的 调度 器 是 可 以 
被 蔡 换 的 。 


run_instance{self, ctxt, request_spec, admin password, injected_files, 
requested_networks, is_first_time, filter_properties) 


NOVA- Manager.py class SchedulcrManager run_instance(self ... 
Scheduler 


defrun rm context, request_spec, admin_ password, 
injccted_files, requcstcd_nctworks is_first_timce, 
filter -properties) 
retum self, pA schedule_run_instance{context, 
t_spec, admin _Ppassword, injected_files, 
a nctworks, is_first_time, filter_propertics) 


scheduler_driver_opt = cfg,StrOpt('scheduler_driver, 
default='nova.scheduler.filter_scheduler.FilterScheduler 
help='Default driver to use for the scheduler) 








图 3-22 ”可 配置 的 Nova Scheduler 


分 析 源 代码 ， 我 们 可 以 看 到 调度 器 有 以 下 定制 方法 〈 见 图 3-23) 。 


ei 


2 
扩展 方法 2: 提供 自己 的 
xxx_host_manager.py / xxxHostManager, 即 自己 
Ot : 
cfg.StrOpt('scheduler host manager class xxxHostManager 提供 人 “BB 理 主机 组 的 方法 ， 
default='nova.scheduler.host_manager. Sposanages 只 要 配置 为 xxxHostManager 


和 即 可 
a 继承 / 重 载 
HostManager 


driver.py / 
host_manager.py / 





























class Scheduler 
class HostManager ot 一 
(系统 缺 省 配置 的 物理 主机 管理 器 ) 一 一 | Hosts 
继承 / 重 方案 2， 继承/ 一 入 乓 7 
载 基 类 重 载 Scheduler Hosi4) i Hostl 
方法 Host5 | Hosts) Host6 
Hostel 人 Host6|| 
filter_scheduler.py/class 小 \ 
Eee hod en 物理 主机 过 滤器 插件 物理 主机 权重 插件 
(系统 默认 配置 ) 
affinity filter.py 专款 4 
更 站 availability zone filter.py ©ast_cost.py 
1 方案 1: 继承 / 重 载 es 时 
xxx _scheduler.py/ FilterScheduler i 
class xxxScheduler XXX Filter.py ty 


1 展 方法 3， 提 供 并 配置 为 自己 的 物理 主机 过 





扩展 方法 1: 提供 并 配置 为 自己 的 扩 
xxxScheduler( 两 种 继承 / 重 载 方案 )， | 滤器 插件 或 者 主机 权重 插件 ， 多 个 过 滤器 插件 
相当 于 给 汽车 更 换 自 己 造 的 发 动机 | 之 间 只 要 没有 互 斥 关系 ， 可 以 并 存 


图 3-23 ”Nova Scheduler 的 可 扩展 机 制 1 





一 种 扩展 方法 是 不 用 默认 的 filter_scheduler.py 的 class FilterScheduler， 
自己 完全 可 以 从 driver.py/class Scheduler 继 承 并 实现 自己 的 类 。 


二 种 扩展 方法 是 不 使 用 默认 的 物理 主机 状态 管理 类 
host _manager.py/class ”HostManager， 目 己 从 HostManager 继 承 或 者 重 载 
实现 xxxHostManager 类 进行 物理 主机 状态 的 管理 。 


第 三 种 方法 是 提供 自己 的 调度 过 滤器 或 者 权重 过 滤器 插件 ， 参 考 
affinity_filter.py 或 ram.py 实 现 自 己 的 插件 ， 在 部 车 的 时 候 配 置 为 自己 的 
插件 即 可 。 

除了 上 面 的 三 种 方法 ， 调 度 器 还 在 各 种 地 方 提供 了 扩展 性 


例如 第 四 种 方法 ， 其 在 物理 主机 中 定义 一 个 主机 组 Group， 然后 在 
Scheduler Hint 中 带 上 这 个 Group， 也 可 以 实现 可 定制 的 调度 策略 。 





第 五 种 方法 是 在 Scheduler Hint 中 增加 自 定 义 的 调度 条 件 ， 在 调度 的 时 候 
通过 自己 的 Filter 插 件 增 加 调度 能 力 。 


第 六 种 方法 是 在 创建 虚拟 机 请 求 的 AZ 参 数 中 通过 “AZ: host” 的 方式 指 
定 主 机 进行 虚拟 机 的 创建 。 


第 七 种 方法 是 调度 器 始终 监控 一 个 调度 配置 json 文 件 ， 如 果 这 个 文件 发 
生变 化 ， 则 动态 加 载 这 个 调度 配置 文件 ， 改 变 和 调整 调度 策略 ， 因 此 可 
以 动态 修改 这 个 json 文 件 修改 调度 策略 〈 见 图 3-24) 。 


def ele run instance(self, context. request spec, 
admin_password, injected_files 
requested networks, is_first_ time; 
filter_propertics) 


def schedulels a context, request_spec, filter_properties, 
instance_uuids= 本 
蜀 度 器 站 终 监 控 一 个 计 度 配置 json 文 件 ， 如 果 


一 
config options = self- a 加载 这 个 调度 配置 文件 ， 改 变 


定 0 De be Le 
的 


tilter_properties['group_hosts'] = configured_ hosts + Broup_host 


filter_properties. -update ef xt, 

eT tons con oio 扩展 方法 S; 在 Scheduler Hint 中 增加 自 定义 野性 ， 所 有 
这 些 参数 均 可 以 作为 自 定义 人 ter 扔 3 

ea 这 些 参数 均 可 以 作为 自 定义 fiiter 的 记性 


def get_filtered_hosts{selt, hosts, filter_properties, filter_class_ names=None) 


ignore_hos = filter_properties,get( ignore_hosts', [|) ms A 
force hosts = filter_ properties.get('force_hosts', []) 扩展 方法 6; 在 AZ:host 中 增加 必 选 的 主机 ， 
只 在 这 个 主机 中 调度 ，OpenStack 已 经 提供 
get filtered_objects(filter_classes, bosts, 人 ker_propertics) 了 处 理 祝 制 ， 





def host passes(self, host_state, filter_properties 


物理 主机 过 滤器 插件 1 


afEnity SR 
ailability e_filter, 


HW _XXX _ Fiker.py 





图 3-24 ”Nova Scheduler 的 可 扩展 机 制 2 


从 NOVA Scheduler 上 述 机 制 我 们 可 以 看 出 ，OpenStack 为 系统 的 开放 性 
和 扩展 型 引入 各 种 可 能 的 扩展 方案 ， 如 driverplugin/ 静 态 配置 /动态 配置 / 
参数 自 定 义 。OpenStack 本 身 就 已 提供 了 多 种 调度 过 滤器 ， 并 在 不 断 丰 
富 中 ， 这 些 过 滤 髓 只 要 不 是 互 斥 的 ， 均 可 以 组 合 使 用 〈 见 表 3-5) 。 


表 3-5 各 插件 的 功能 和 使 用 方法 





插件 名 称 功能 使 用 方法 


CoreFilter 


AggregateCoreFijter 


AggregatelnstanceExtra 


SpecsFilter 


AggregateMultiTenancy 


Isolation 


RamFilter 


AggregateRamFilter 


AllHostsFilter 


设置 主机 能 够 分 配 全 局 配置 数据 
虚拟 机 的 vCPU/pCPU 
的 比例 ， 超 过 比例 就 
不 能 分 配 虚 拟 机 了 ; 
允许 设置 为 超 分 配 
针对 某 个 Host 针对 HostAggregate 设 
Aggregate 单 独 设置 主 metadata (Key,Value) ， 
机 能 够 分 配 虚 拟 机 的 置 cpu_allocation_ratio=10 
vCPU/pCPU 的 比例 ， 
超过 比例 就 不 能 分 配 
虚拟 机 了; 没有 设 
置 ， 默 认 就 用 全 局 的 
CoreFilter 的 配置 数 
据 
在 指定 的 ”需要 在 HostAggregate 打 . 
HostAggregate 中 选 定 的 对 应 标签 ， 就 是 
一 个 主机 分 配 虚拟 。” HostAggreagate 和 flavor 要 
机 同 的 metadata (key,value) 
如 两 个 主机 分 配 虚拟 机 个 
storage=DSWare 的 key-val 
metadata， 则 表明 只 在 存 1 
Dsware 的 主机 分 配 虚 拟 机 








flavor 的 虚拟 机 
在 指定 的 HostAggregate 增 
HostAggregate 中 只 人 允 metadata (key, va 


许 给 某 个 租户 分 配 虚 filter_tenant_id=xxx 
拟 机 
和 CoreFilter 类 似 ， 参考 CoreFilter 
只 不 过 针对 的 是 内 
存 
和 参考 AggregateCoreFilter 

AggregateCoreFilter 类 
似 ， 只 不 过 针对 的 是 
内 存 

允许 所 有 的 HOST 参 
加 分 配 


AvailabilityZoneFilter 


只 允许 在 创建 虚拟 
机 参数 中 带 的 
Availability Zone 内 的 
那些 Host 上 分 配 虚拟 
机 





ComputeCapabilities 用 于 过 滤 满 足 Flavor 


Filter 


ComputeFilter 


DiskFilter 


DifferentHostFilter 


GroupAntiAffinity 


Filter 


ImagePropertiesFilter 


IsolatedHostsFilter 


的 extra ”specs 条 件 的 AggregateInstanceExtraSpe 
主机 就 要 用 到 extra_specs 

所 有 能 用 能 操作 的 默认 需要 配置 该 过 滤器 
A 以 分 配 虚拟 
LL 

根据 磁盘 分 配 比例 在 nova.conl 
过 滤 能 够 分 配 的 虚拟 disk_allocation_ratio=1.0 
机 ， 超 过 比例 就 不 能 
分 配 了 〔 人 允许 配置 为 
超 分 配 ) 

指定 不 要 和 某 些 虚 ， 在 Scheduler hint 中 增 
拟 机 实例 共享 主机 ， hint'os:scheduler_hints”: 
可 以 用 于 互 斥 的 分 配 {‘different host”: [‘vm1’,“ 
场景 下 

指定 不 要 在 某 个 组 。” 在 Scheduler hint 中 增 
内 的 所 有 HOST 上 分 hint'os:scheduler_ hints”: { 
配 虚拟 机 ， 可 以 用 于 [ost1 ‘host2’] 
互 斥 的 分 配 场景 下 

根据 镜像 属性 过 滤 glance image-update img 
主机 ， 主 要 的 属性 包 property architecture=ar 
括 CPU 架 构 ， property Hypervisor_type= 
Hypervisor 的 类 型 ， 
VM_Mode[Hypervisor 
application binary 
interface (ABI) ] 等 

在 管理 员 指 定 的 一 需要 在 nova.conf 配 . 
些 孤 立 的 主机 中 创建 a t e d _hosts=serverl 
特定 镜像 的 虚拟 机 isolated_images=342b492c 

4a42-8d3a- 
c5088cf27d13,ebd267a6-ca 

















4d6c-9a0e-bd132d6b7d09 


JsonFilter 在 Schedluer hint 中 如 设置 这 样 的 运 
币 上 json 脚 本 ， 选 出 os:scheduler hints’*: f 
满足 脚本 运算 规则 的 “[“>=”,”$free_ram_mb”,10. 
主机 分 配 虚 拟 机 
RetryFilter 不 再 对 已 经 尝试 分 scheduler_max_attempts> 
配 虚 拟 机 但 是 失败 的 
主机 再 次 进行 选择 ， 
只 有 当 nova.conf 中 人 允 
许 调度 失败 时 重新 调 
上 度 的 配置 有 效 时 ， 这 
个 指标 才 起 作用 
SameHostFilter 在 指定 虚拟 机 所 在 。” scheduler hint 中 加 上 sar 
主机 上 分 配 虚 拟 机 的 设置 ‘os:scheduler_hints? 
‘same host’*: [‘a0cf03a 
4877-bb5c- 
86d26cf818e1’,‘8c19174f-< 
44f0-824a-cdleeef10287’], 


SimpleCIDRAffinity ”根据 某 个 子 网 IP 地 ”如 下 为 在 192.18.1.1 的 子 


Filter 址 范围 内 的 主机 进行 虚拟 机 ‘os:scheduler_hints? 
虚拟 机 分 配 {‘build_near_host_ip’: 


“192.168.1.1’,‘cidr’: “24’} 


当 调 度 器 选择 好 合适 的 主机 进行 虚拟 机 创建 的 时 候 ， 命 令 会 来 到 Nova 
Compute 〈 见 图 3-25) 。 





















run_instance(self, ctxt, request_spec, admin_password，injected files, 
requcsted_nctworks, is_first_time, filter_properties) 


NOVA-Compute Managerpy class ComputeManager def run_instance(self,... 
def run 有 context instance, request_spec=None, 
hter_properties=None, requested_networks=None, 
a files=None, admin password=None, 
is_first_time=False, node=None) 


NOVA-Compute Manager.py class ComputeManager def_run_instance(self.... 


9 Context, request_spec, 
es, requcsted_networks, ee files, 
i is_first_time, node, instance 


图 3-25 ”Nova Compute 创 建 虚拟 机 的 过 程 


Nova-Compute 采 用 了 Driver 机 制 ， 使 得 不 同类 型 的 Hypervisor 在 
OpenStack 下 实现 同样 的 功能 。 每 个 三 家 只 需要 根据 Driver 机 制 ， 对 类 进 
行 继承 和 重 载 ， 针 对 相应 Hypervisor 的 实现 类 的 方法 即 可 。 图 3-26 对 
Driver 机 制 已 经 解释 得 比较 清楚 了 。 


class VirtAPI(object) 


Driver 和 的 机 制 : 可 和 配置 的 党 生 类 p> 


class ComputeVirtAPI(virtapi. VirtAPD 





self-virtapi = ComputeVirtAPIl(self) 


Nova/Compute/Manager.py / 


class ComputeManager() 


Selfdriver = dnverjoad compute_driver(self virtapi, compute_driver) 


class ComputeDriver(object) | 性 了 创 Nova-Scheduler 
{self.virtapi = virtapi} 


加 载 到 ComputeManager 


一 Nova-Compute 
se 了 Edriverspawatcontcxt instance, image_meta. 人 
派生 injected_files, admin_ password， 
SC 人 legacy_nw_ infotnetwork_info) 
class Huawci_ComputeDriver(object) block_devtce_info) 


compute_driver = CONF.compute_driver 


图 3-26 ”Nova Driver 的 机 制 





除了 上 面 提 到 的 drivervplugin/ 静 态 配置 /动态 配置 /参数 自 定 义 这 些 扩 展 方 
案 ，OpenStack 还 提供 灵活 的 扩展 机 制 实现 API 功 能 扩展 〈 见 表 3-6) 。 


表 3-6 ”OpenStack 的 扩展 机 制 


术语 (API 扩 含义 举例 
展 机 制 的 术 
语 ) 


资源 ”Restful 接口 Server、Host Aggreagte 束 是 资源 
(Resource) ”处 理 的 对 象 





派发 路 由 。 Restful 请 求 因为 对 象 之 间 存 在 关系 ， 比 如 
(Route) 映射 到 其 处 理 TenantID/Server/Metadata， 到 Metadata 需 
所 在 的 类 和 方 要 设置 父 对 象 是 Server/， 而 Server/ 的 父 对 
象 是 TenantID 
控制 器 ”Controller 是 AggregateController 就 是 处 理 Host 
(Controller) ” 指 处 理 Aggregate 的 类 
Resource 的 
类 


如 图 3-27 所 示 ， 只 需要 增加 文件 和 修改 配置 ， 不 需要 修改 源 代码 ， 就 可 
以 扩展 资源 及 其 API， 非 常 灵 活 和 方便 。 


在 Nova 内 对 计算 资源 域 进行 划分 ， 一 个 Region 是 一 个 OpenStack 实 例 ， 
有 独立 的 API 服 务 〈 见 图 3-28) 。 在 一 个 OpenStack 实 例 下 ， 可 以 包含 多 
个 Availability Zone， 每 个 Availability Zone 是 一 个 故障 域 ， 比 如 共享 电源 
的 一 个 机 房 。 在 Availability Zone 内 可 以 对 主机 进行 Host Aggregate 和 
Group 划 分 ， 比 如 一 个 机 柜 ， 有 A 厂家 服务 器 和 B 广 家 服务 器 ， 它 们 共享 
一 个 存储 ， 可 以 作为 一 个 Host Aggregate， 但 是 要 作为 两 个 Group。 对 于 
API 来 说 ，Availability ”Zone 是 可 见 的 资源 区 域 调度 调度 单位 ， 而 Host 
Aggregate 和 Group 这 两 个 物理 主机 的 资源 分 类 概念 可 以 为 OpenStack 带 来 
灵活 调度 机 制 ， 满 足 资源 多 样 化 的 需求 。 





OpenStack 类 继承 的 自 定义 类 


f + 】 
Ete TT posthttp://localhost/ v2/llenant_id}/os aggregates/(agerPgate_id)/actiont 


[name / alias / namespace / upxlated time stamr 





API 扩 展 资源 的 API 扩 展 资源 AP 直 展 资源 的 
操作 方法 ， 需要 member_actions 

个 毕 耿 和 重 载 | 在 控制 器 站 定义 操作 方法 ， 需 要 

nova\api\openstack\compute\contrib \ 在 控制 器 中 定义 


aggregates.py 










class AgRgregatesfextensions-ExtensionDescripion) 


: 义 API 的 扩展 描述 信息 





novavapiwpenstackveomputevontrib 


k.org/icompute/ext/aggregates/api/y1.1" 
= "2012-01-12T00:00:00400:00“ \aperegates.py 





initO{ ext_mgr.register(self)} EE 册 API 扩 - 民 class AggregateController(object) 
- | 
def createfself req, body) 
def show{sell, req, id) 
def upxlate(self, req, id, body) 


def actionfself req, id, body) 


} = 义 针对 资源 的 API 具 体操 作 方 法 





文件 和 修改 配置 ， 不 ; 可 以 增加 新 的 资源 
操作 的 API 扩 展 ， 适 用 ; 





IVMIY 1VMni 1VMmiIVM 1VMI) !VMn! {VMmY I VM 
Region | 本 W +-- 一 4----! 暗中 rR 
1 L 了 了- 1 量 ， [| 1 
at A 
, [ NOVA Compute] NOVA-Compute NOVA-Compute | | NOVA-Compute| ”， 
\ Wo [本 1 i 
Controller Host Aggregate 1 Host Aggregate 7 ~ To 
Node AvailabilityZonel 
NOVAADpi 
NOVAScheduler 
Nova-Condutor 
MySQL 
Rabbit-MQ Sa 
\ ~ Availability Zone y 





图 3-28 ”Nova 计 算 资 源 域 划分 


Nova 还 提供 一 种 大 规模 资源 管理 的 机 制 ， 即 Cell 机 制 。API 服 务 只 有 一 
个 节点 ， 每 一 个 Nova-Cells 可 以 有 很 多 的 子 Nova-Cells。 调 度 时 ， 先 选 定 
Cell， 然 后 再 在 Cell 那 里 进行 Nova-Scheduler 的 调度 。 一 个 Cell 可 以 是 一 
个 数据 中 心 ， 也 可 以 是 一 个 机 房 。 目 前 Cell 机 制 还 在 不 断 优 化 中 《〈 见 图 
3-29) 。 
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图 3-29 Nova Cells 机 制 


3.3.3 ”QOpenStack 的 块 存储 服务 : Cinder 


通过 Driver 机 制 ，Cinder 可 以 支持 不 同类 型 存储 ， 以 提供 块 存 储 服务 


( 见 图 3-30) 。 
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图 3-30 Cinder 的 架构 


目前 支持 的 后 端 系统 非常 多 ， 比 如 : 
(1) iSCSI 类 后 端 系统 
” IET+LVM/TGT+LVM 
” Solaris 
” HP Lefthand 
” IBM XIV/StorwizeSVC 
” Nexenta 
” Dell EqualLogic 
” SolidFire 
” NetApp 
” HUAWEI 
(2) NFS (NAS) 类 后 端 系统 
” NetApp 
” Glusterfs 
(3) 其 他 类 后 端 系统 
” Ceph 
” Sheepdog 


Cinder 提 供 了 块 存储 设备 的 丰富 功能 ， 如 卷 的 CRUD、 郑 挂 载 外 载 、 卷 
快照 、 从 卷 创建 卷 、 从 快照 创建 卷 、 从 镜像 创建 卷 、 从 卷 创建 镜像 、 卷 


扩容 、 卷 迁移 等 功能 。 


Cinder 通 过 类 似 Nova 的 API、Scheduler、Cinder Volume 的 架构 ， 支 持 系 
统 的 水 平 扩展 能 力 〈 见 图 3-31) 。 
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(2 卷 服务 可 扩展 性 


《3 ) 存储 可 扩展 性 





Neutron 的 核心 是 提供 一 个 标准 API 集 合 下 的 Plugin 机 制 。 可 以 由 各 种 网 
络 厂 商 来 实现 具体 的 网 络 能 力 ， 也 可 以 外 接 SDN Controller 对 网 络 实现 
更 为 智能 的 虚拟 网 络 业 务 发 放 和 流量 控制 〈 见 图 3-32) 。 




















-=-==--~ RESTAPI 
及 其 他 


图 3-32 ”Neutron 的 架构 


Neutron 的 对 象 模型 如 图 3-33 所 示 ， 当 前 可 以 实现 如 下 虚拟 网 络 业 务 。 
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图 3-33” Neutron 的 对 象 模型 


OpenStack 提 供 如 下 几 种 基本 网 络 模型 及 其 混合 的 网 络 模型 〈 见 图 3- 


34、 图 3-35、 图 3-36) 。 
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3-34 了 Flat 网 络 模式 
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图 3-35 ”混合 网 络 模式 
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图 3-36 ” Neutron 共享 Router 模 式 和 租户 级 Router 模 式 


Neutron 提 供 单 Plugin 和 多 Plugin 模 式 ， 如 图 3-37 所 示 。 


Quantum API Endpoint(s) 





Was Dairies Lirer, 


图 3-37 ” Neutron 单 Plugin 模 式 


单 Plugin 模 式 是 一 个 Plugin 实 现 所 有 的 Neutron 的 功能 ， 从 L2 到 L3 到 扩展 
服务 ， 如 LB、FW、VPN 等 ， 如 图 3-38 所 示 。 
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图 3-38 ”Neutron 多 Plugin 模 式 


多 Plugin 模 式 是 一 个 Plugin 只 实现 部 分 Neutron 的 服务 能 力 ， 但 是 Grizzly 
版 本 只 文 持 一 个 Base Plugin 提供 基本 的 L2/L3 能 力 ， 扩 展 网 络 服务 能 
文 持 多 Plugin。 在 Havana 版 本 ，L3 能 力也 被 作为 网 络 扩展 服务 插件 ，L2 
则 引入 ML2 插 件 ， 实 现 多 种 Layer2 Driver 可 以 并 存 的 机 制 ( 见 图 3- 
39) 。 
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图 3-39 ”Neutron 的 ML2 机 制 | 


Neutron 社 区 也 在 不 断 发 展 中 ， 由 于 Plugin 模 式 使 得 多 厂家 在 单个 生产 环 
境 中 共存 比较 困难 ， 因 此 都 在 走 类 似 ML2 的 多 种 异 构 网 络 基础 设施 可 以 
并 存 的 Driver、Agent 模 式 。 


我 们 再 以 Neutron 〈 原 Quantum ) 为 例 ， 可 以 看 到 Plugin 机 制 实际 上 与 
Driver 机 制 非 常 类似，Quantum ”Manager 会 去 扫描 是 否 有 Plugin 的 继承 
类 ， 如 果 有 ， 则 把 这 些 Plugin 加 载 到 运行 系统 中 。 同 样 地 ， 其 不 需要 修 
改 源 代码 就 可 以 扩展 OpenStack 的 能 力 〈 见 图 3-40) 。 
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PluginV2(db base plugin_ v2.QuantumDbPluginV2) 


新 增加 文件 盒 修 改 配置 ， 不 需要 友 改 源 代 码 就 可 以 增加 Plugin 





图 3-40 ”Neutron 的 Plugin 机 制 


3.3.5 ”OpenStack 的 镜像 服务 Glance 


镜像 服务 为 虚拟 机 的 创建 提供 了 基本 的 镜像 。Nova 在 创建 虚拟 机 的 时 候 
会 从 Glance 下 载 镜像 。 创 建 虚拟 机 之 前 ， 一 般 系 统管 理 员 会 上 载 一 些 全 

局 性 的 系统 镜像 ， 租 户 也 可 以 对 自己 运行 中 的 VM 创建 快照 ， 快 照会 作 
从 上 人 Ginee 当然 租户 也 可 以 在 其 他 地 方 先 做 好 镜像 ， 再 上 传 
到 Glance 中 。 


Glance 作 为 OpenStack 的 镜像 服务 ， 通 过 Driver 机 制 ， 文 持 多 种 镜像 后 端 
存储 ， 如 Swift、S3、 文 件 系统 等 〈 见 图 3-41) 。 








nova-compute 





图 3-41 ”Glance 的 可 插 拔 可 扩展 架构 
Glance 支 持 如 下 镜像 、 模 板 格式 : 
> Raw; 


> Machine (kernel/ramdisk outside of image, ak.a. 
AMULAKULARI]); 


>” VHD (Hyper-V); 

”> VDI (VirtualBox); 

”> dcow2 (Qemu/KVM); 

>” VMDK (VMWare); 

> OVF (VMWare， 其 他 ) ; 
> OVA:; 


> AMI。 


3.3.6 ”OpenStack 的 身份 服务 : KevStone 


OpenStack 的 KeyStone 支 持 集成 不 同 的 后 端 系统 “如 LDAP、SQL Server 
等 关系 型 数据 库 ，KYVS...….. ) 提供 基于 角色 的 用 户 身 份 管理 ， 进 行 鉴 权 
和 认证 管理 。 


KeyStone 提 供 两 种 令 牌 〈Token) 供 OpenStack 的 API 安 全 访问 ， 一 种 是 
UUID 类 的 Token， 在 用 户 通 过 鉴 权 后 ， 临 时 生产 一 个 UUID， 
NOVA/Cinder/Neutron 等 服务 在 接受 到 API 请 求 后， 需要 到 KeyStone 中 去 
检查 这 个 UUID 是 否 合法 ， 如 果 合 法 ， 则 允许 API 访 问 。 在 大 规模 的 云 
中 ，KeyStone 会 成 为 性 能 的 瓶颈 ， 因 为 所 有 API 访 问 都 要 用 到 
KeyStone。 


因此 社区 从 性 能 考虑 ， 引 入 PKI 的 Token， 相 对 于 UUID Token， 其 好 处 
是 Nova/Cinder/Neutron 等 服务 通过 预先 取 好 的 证 书 对 Token 进 行 认 证 ， 
减少 了 KeyStone 的 压力 ， 缺 点 是 Token 会 比较 大 ， 特 别 是 在 多 Region 下 
租户 的 访问 权限 和 范围 很 大 的 时 候 ，Token 本 身 就 是 一 个 负担 〈 见 图 3- 
42) 。 








API 服 务 器 


图 3-42 ”KeyStone 可 扩展 可 插 拔 的 灵活 架构 
KeyStone 是 实施 OpenStack 生 产 系 统 时 非常 关键 的 一 个 服务 ， 涉 及 对 


OpenStack 云 的 管理 模型 。 





Token 和 Credential 是 一 个 用 户 (User) 访问 云 时 需要 获得 的 令 牌 或 者 密 
令 。Token 和 Credential 都 是 在 针对 特定 的 服务 Service (如 Nova、Cinder 
等 ) 和 访问 地 址 endpoint (http://192.168.0.10/Nova/V2) 时 有 效 。 

Project (COpenStack 有 时 也 用 Tennat 这 个 词 ) 是 资源 的 集合 ， 资 源 会 散布 
在 Service/endpoint 中 。 用 户 (User〉 要 访问 Project 的 资源 ， 则 需要 在 
Project 中 具有 一 个 角色 (Role) ， 并 且 通 过 Policy 来 控制 角色 对 Project 资 
源 访问 的 权限 。 为 了 方便 设置 权限 ， 可 以 把 一 组 用 户 放 在 Group 中 。 而 
Domain 就 是 ProjecVUsevRole/Group 的 集合 。 一 个 Domain 可 以 有 多 个 
Project、 多 个 User、 多 个 不 同 的 Role， 多 个 Group 〈 见 图 3-43) 。 
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图 3-43 ”KeyStone 的 对 象 关 系 


3.4 闫 和 和 社区 发 


3.4.1 Hypervisor 社 区 发 展 
1. 社区 发 展 


Xen 和 KVM 是 开源 虚拟 化 技术 的 人 代表， 都 是 由 开源 社区 开发 的 ，KVM 
的 部 分 代码 也 是 直接 从 Xen 中 移植 过 来 的 ，KVM 的 很 多 开发 者 也 都 来 自 
Xen 项 目 组 。KVM 和 Xen 是 两 种 不 同 的 虚拟 机 实现 方式 ， 各 有 不 同 的 优 
点 和 使 用 场合 ， 这 其 中 有 来 自 社区 人 员 的 不 懈 努 力 ， 背 后 也 有 着 众多 企 
业 的 支持 ， 这 充分 体现 了 开源 开发 模式 的 优越 性 和 先进 性 ， 可 以 说 Xen 
和 KVM 是 这 种 社区 开发 模式 的 结晶 。 


图 3-44 展 示 了 Xen 和 KVM 的 发 展 历史 。 











年 份 Xen KVM 
1999 规划 Xenserver 

2001 0.x， 内 部 改造 Nemesis 微 内 核 

2002 1.x， 内 部 开发 ， 硬 件 驱 动 在 Xen 中 

2003 


2004 2.x，XenSource 成 立 
2005 3.0 支 持 HVM，x86 64，vSMP 
2006 KVM 发 布 
2007 Citrix 收 购 XenSource、XenServer, 合 入 内 核 2.6.20 
建立 xen.org 
2008 Red Hat 收 购 
2009 XCPCXenserver 社 区 版 ) RHEL5.4 支 持 KVM( 同 时 支持 Xen) 
2010 Dom0 代 码 合 入 Linux 内 核 3.0 RHEL6.0 仅 支持 KVM(RHEV2.0) 
2011 RHEV3.0 发 布 ，Ovirt 发 布 
2012 Red Hat 加 入 OpenStack 联 盟 
2013 Citrix 把 Xen 捐 给 Linux Foundation 





图 3-44 Xen、KVM 历 史 发 展 进程 











Xen 虚 拟 化 发 展 


Xen 最 初 是 作为 剑桥 大 学 的 一 个 项 目 ， 目 前 由 XEN.ORG 社 区 负责 它 的 开 
发 及 维护 ， 已 经 在 开源 社区 中 得 到 了 极 大 的 发 展 。 


(1) Xen 的 起 源 : 2000 年 左右 ，Xen 起 源 于 英国 的 剑桥 大 学 计算 机 实验 











室 ， 该 实验 室 开 发 了 Xen 开 源 项 目 。 这 个 项 目 包括 虚拟 机 监控 器 ， 即 
Xen 环 境 的 核心 组 成 部 分 。 除 了 剑桥 大 学 ，IBM、AMD、HP、Red Hat 
和 Novell 都 参与 了 Xen 开 源 项 目 。 由 于 Xen 方 法 使 虚拟 化 领域 迈 出 了 一 大 
步 ， 因 此 Xen 的 创始 人 成 立 了 他 们 自己 的 公司 XenSource。 


(2) XenSource 被 收购 : Citrix 在 2007 年 以 5 亿美 元 的 价格 收购 了 
XenSource 公 司 ， 因 此 Citrix 有 了 自己 的 hypervisior 产 品 Xenserver， 在 
Linux 服 务 器 领域 ，Xen 似 乎 成 为 了 VMware 之 外 的 最 佳 虚拟 化 选择 。 


(3) 合 入 Linux Kernel 3.0: 作为 一 项 Linux 平 台 上 的 虚拟 化 技术 ，Xen 
在 很 长 一 段 时 间 内 没有 被 接受 到 Linux 内 核 的 代码 当中 ， 直 到 在 2011 年 6 
月 发 布 的 Linux 内 核 3.0 中 才 加 入 了 对 Xen 的 支持 。 


(4) 纳入 Linux Foundation: 2013 年 ，Citrix 和 Linux 基 金 会 联合 宣布 ， 
Xen 虚 拟 化 平台 的 开源 社区 活动 将 纳入 Linux 基 金 会 合作 项 目 。Linux 基 
金 会 将 利用 其 成 熟 的 合作 开发 模式 ， 为 全 新 的 Xen Project 计 划 提 供 基 础 
设施 、 开 发 指导 和 协作 网 络 。 


KVM 虚 拟 化 发 展 


KVM 是 目前 最 火热 的 开源 虚拟 化 解决 方案 ， 由 爱尔兰 的 公司 Qumranet 
发 起 ， 并 于 2006 年 8 月 推 向 社区 ，2008 年 被 Red Hat 收 购 ， 成 为 Red Hat 的 
主推 虚拟 化 计划 。 


(1) KVM 起 源 


KVM 虚 拟 机 最 初 是 由 一 个 以 色 列 的 创业 公司 Qumranet 开 发 的 ， 作 为 他 

们 的 VDI 产 品 的 虚拟 机 。 为 了 简化 开发 ，KVM 的 开发 人 员 并 没有 选择 从 
底层 开始 新 写 一 个 Hypervisor， 而 是 基于 Linux Kemel， 通 过 加 载 新 的 模 
块 ， 使 Linux Kernel 本 身 变 成 一 个 Hypervisor。2006 年 10 月 ， 在 先后 完成 
了 基本 功能 、 动 态 迁 移 以 及 主要 的 性 能 优化 之 后 ，Qumranet 正 式 对 外 宣 
布 了 KVM 的 诞生 。 


(2) 进入 Linux Kernel 


2006 年 10 月 ，KVM 模 块 的 源 代 码 被 正式 接纳 进入 Linux Kernel， 成 为 内 
核 源 代码 的 一 部 分 。KVM 最 早 由 Avi Kivity 等 人 开发 ， 并 于 2006 年 8 月 推 
向 社区 ，10 月 被 Linux 社 区 接受 。 它 以 其 代码 简单 、 易 于 理解 掌握 以 及 
不 需要 重新 安装 等 优点 很 快 受到 了 业界 的 欢迎 及 Linux 项 目 创始 人 











Torvalds 的 支持 ， 并 于 2006 年 底 被 集成 进 Linux 2.6.20 版 内 核 ， 从 此 成 为 
Linux 的 一 个 组 成 部 分 。 


(3) 被 Red Hat 收 购 
2008 年 9 月 4 日 ，Red Hat 公 司 出 资 1.07 亿 美元 ， 收 购 了 Qumranet， 从 而 成 
为 了 KVM 开 源 项 目的 新 东家 。 正 是 因为 此 次 收购 ，Red Hat 公 司 有 了 自 
己 的 虚拟 化 解决 方案 。 

(4) RHEL5.4 支 持 KVM 


2010 年 11 月 ，Red Hat 公 司 推出 了 新 的 企业 版 Linux-RHEL 6， 在 这 个 发 
行 版 中 集成 了 最 新 的 KVM 虚 拟 机 ， 而 去 掉 了 在 RHEL 5.x 系 列 中 集成 的 
Xen。 





(5) RHEV3.0 发 布 ，Ovirt 发 布 


2011 年 11 月 ，Red Hat、IBM、 瑞 特 尔 、 思 科 、Canonical、NetApp 与 
SUSE 和 赞助 成 立 Ovirt 社 区 。 其 目的 是 创建 一 个 有 活力 的 开源 社区 ， 涵 盖 
虚拟 化 管理 堆栈 各 个 层级 ， 包 括 Hypervisor、 管 理 、 图 形 用 户 界 面 、API 
等 ， 提 供 一 个 功能 丰富 的 服务 器 虚拟 化 管理 系统 。Red Hat 同 Ovirt 社 区 
贡献 了 自己 的 虚拟 化 管理 软件 ，IBM 则 捐 出 了 Memory Overcommit 
Manager。 如 今 ，Ovirt 已 是 一 个 全 面 的 生态 系统 。 


2. 商用 情况 


如 今 ， 企 业 正 在 部 署 或 已 经 实施 虚拟 化 技术 ， 以 便 所 高 全 基础 染 构 的 利 
用 率 和 经 济 性 。 利 用 数据 中 心虚 拟 化 ， 这 些 企业 推动 了 关键 应 用 程序 的 
高 可 用 性 与 快速 恢复 。 最 近 几 年 ，VMware、 思 杰 和 微软 等 虚拟 化 技术 
占据 了 数据 中 心 大 部 分 领地 。 但 是 ， 商 用 的 解决 方案 不 仅 部 著 与 运 维 成 
本 昂贵 ， 而 且 容 易 被 厂商 锁定 。 企 业 用 户 和 希望 保持 对 IT 的 控制 能 力 ， 确 
保 压 层 虚 拟 平台 具有 开放 性 ， 并 有 一 个 强大 的 生态 系统 对 其 进行 文 撑 。 


Xen 技 术 商 用 情况 


经 过 10 年 的 发 展 ，Xen 技 术 已 拥有 超过 1 000 万 用 户 ， 并 吸引 了 来 自 众 多 
机 构 的 参与 和 贡献 ， 包 括 亚 蕊 进 、AMD、 剑 桥 大 学 、 思 杰 、 富 士 通 、 
英特尔 、 美 国 国家 安全 局 (NSA) 、 甲 骨 文 、 华 为 和 SUSE 等 。 随 着 云 
时 代 的 到 来 ， 一 些 技术 领先 的 企业 组 织 还 在 继续 推动 Xen Project 在 云 领 








域 的 发 展 ， 其 中 包括 亚马逊 Web 服 务 (AWS) 、AMD、Bromium、 
Calxeda、CA、 思 科 、 思 杰 、 人 谷歌、 英特尔 、 甲 骨 文 、 三 星 和 Verizon。 


KVM 技 术 商用 情况 


2011 年 初 ，IBM 和 Red Hat， 联 合 惠普 和 英特尔 一 起 ， 成 立 了 开放 虚拟 化 
联盟 (Open Virtualization Alliance)， 一 起 声明 要 加 速 KVM 投 入 市 场 的 
速度 ， 由 此 避免 VMware 一 家 独 大 的 情况 出 现 。 联 盟 成 立 之 时 ，Red Hat 
的 发 言 人 表示 : “大 家 都 希望 除 VMware 之 外 还 有 一 种 开源 选择 。 未 来 的 





云 基础 设施 一 定 会 基于 开源 .…… 我 们 想 要 营造 一 个 小 广 商 们 可 以 轻松 加 
入 的 生态 环境 。” 





于 是 ， 开 放 虚 拟 化 联盟 红 红 火 火 地 成 立 了 。 从 2011 年 5 月 到 8 月 这 短 短 3 
个 月 间 ， 开 放 虚 拟 化 联盟 的 成 员 已 经 增加 到 将 近 300 个 ， 联 盟 发 展 的 速 
度 十 分 可 观 。IBM 现 在 全 线 硬件 都 对 Red Hat Linux 和 KVM 进 行 了 大 量 的 
优化 ， 有 60 多 名 开发 者 专门 开发 KVM 相 关 的 代码 。 


3.4.2 _ Cloud OS 社区 发 展 
1. 社区 发 展 


由 于 OpenStack 的 开放 性 ，IT 各 领域 排名 前 三 位 的 广 商都 文 持 
OpenStack， 并 深度 参与 ， 提 供 OpenStack 相 关 的 集成 解决 方案 和 服务 。 


与 OpenStack 相 比 ，CloudStack 主 要 由 原 Citrix 工 程 师 主 导 ， 由 于 架构 上 
的 原因 ，CloudStack 可 供 扩展 的 地 方 不 多 ( 重 构 优 化 、 插 件 、 文 档 〉， 
一 部 分 插件 已 由 Citrix 提 供 ， 只 有 少 部 分 由 第 三 方 /服务 商 提 供 : 








” Caringo Contributes Object Store Plugin 
” Nicira Controller by Hugo 

” Ceph/RBD Support by Wido 

” CLVM for KVM by Marcus 


” CloudEra (Hadoop Backed Object Store) 


” Midokura (SDN Controller) 


” Basho-Object Store 
总 体 上 ，OpenStack 与 CloudStack 的 比较 如 下 。 


从 两 个 开源 社区 的 发 展 速度 看 ，CloudSstack 生 态 链 上 参与 厂商 较 少 ， 
OpenStack 在 参与 度 、 活 跃 度 、 广 商 页 献 积 极 性 等 各 方面 呈现 出 远 超 
CloudStack 的 发 展 势 头 。 


CloudStack 在 局 部 特性 上 《GUI、 安 装 部 效 、 资 源 管理 ) 成 熟 度 较 强 。 
在 业务 特性 上 《如 计算 资源 池 、 块 存储 等 ) ，OpenStack 与 CloudStack 能 
力 相 当 。CloudStack 缺 少 对 象 存储 ，OpenStack 的 对 象 存储 〈Swift) 功 
能 绅 越 且 广 泛 应 用 。 在 网 络 特性 上 ，CloudSstack 成 熟 ，OpenStack 网 络 模 
型 灵活 且 发 展 迅 独 ， 但 有 待 成 熟 。 


OpenStack 系 统 架 构 在 开放 性 、 扩 展 性 、 分 层 解 奈 、 对 外 服务 API 等 方面 
要 远 强 于 CloudStack， 更 适合 灵活 部 草 大 规模 云 服务 基础 平台 。 


在 管理 与 自动 化 方面 ，CloudStack 具 备 较 成 熟 的 封闭 管理 系统 ， 
OpenStack 具 备 较 强 的 开放 性 ， 由 用 户 与 系统 集成 丙 选 择业 界 最 优 方 


末 。 


由 于 软件 架构 设计 的 原因 ， OpenStack 呈 现 出 更 为 强劲 的 生态 系统 ， 后 

劲 更 足 : CloudSstack 则 表现 为 当前 商用 成 熟 度 更 高 ， 将 带动 社区 继续 往 
2. 商用 情况 

在 亚特兰大 2014 年 的 峰会 上 ，OpenStack 基 金 会 公布 了 最 新 的 OpenStack 


部 署 情况 : 美国 最 多 ， 其 次 是 中 国 。 调 查 问 卷 共 反馈 了 506 家 OpenStack 
部 着 《〈 见 图 3-45) 。 

















1780 家 调查 反馈 
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图 3-45 “调查 问卷 反馈 


部 署 的 行业 分 布 如 下 ， 其 中 IT 行业 还 是 最 多 ， 占 589%， 电 信行 业 有 69%6。 
随 着 NFV 组 织 和 OpenStack 社 区 的 互动 ，NFV 已 经 基本 倾向 于 用 
OpenStack 来 部 署 其 云 基 础 设施 ， 相 信和 电信 行业 的 OpenStack 交 付 部 署 会 
越 来 越 多 《〈 见 图 3-46) 。 











16% 


图 3-46 ”OpenStack 部 署 的 行业 分 布 


3.5 ”开源 还 是 闭 源 


早期 的 开源 ， 注 重 的 是 开放 源 代码 ; 近期 和 未 来 的 开源 发 展 ， 更 加 注重 
的 是 一 个 开放 的 架构 ， 所 开放 的 源 代码 也 是 为 这 个 开放 的 架构 服务 ， 再 
说 得 噩 级 一 些 ， 开 源 最 终 是 在 参 着 开放 的 生态 链 方 回 及 展 。 在 这 个 开放 














的 生态 链 中 ， 大 家 (包括 厂商 、 用 户 、 研 究 机 构 、 个 人 开发 者 ) 可 以 目 
由 选择 《来 目 不 同 广 家 的 体系 模块 ) ， 目 由 发 展 〈 做 符合 目 身 的 定制 开 
发 ) ， 上 自由 苋 争 (不 同 三 家 可 以 开 肥 相同 的 模块 组 件 ， 比 拼 性 能 ) 。 完 
全 目 由 虽然 是 一 个 理想 ,但 至 少 在 疝 这 个 方 同 努 力 。 


文 撑 开 源 健康 发 展 的 不 只 是 开源 的 精神 ， 更 是 开源 的 商业 模式 。 因 

为 “精神 ?虽然 很 重要 ， 但 不 能 当 饭 号 ， 先 让 生态 链 中 的 每 个 环节 、 每 个 
成 员 吃 饱 饭 ， 才 能 考虑 精神 享受 ， 对 于 早期 为 开源 做 出 重大 页 献 的 大 牛 
们 也 是 如 此 。 在 那个 IT 人 才 稀 缺 的 年 代 ， 衣 食 无 忧 之 余 才 会 把 源 代码 公 
开 的 。“ 免 费 ” 是 开源 的 一 大 特色 ， 但 不 能 理解 成 “彻底 与 完全 ”的 免费 ， 

而 应 该 理解 成 < 最 优 的 成 本 构成 ”〈 基 于 开源 的 产品 竞争 会 更 加 透明 化 ， 

对 用 户 绑 定 概率 低 ， 人 性价比 更 加 合理 ) ， 开 源 用 户 需要 一 定 的 付出 〈 可 
能 是 购买 基于 开源 的 产品 、 咨 询 与 技术 支持 服务 的 费用 ; 可 能 是 申请 技 
术 认 证 的 费用 ;可 能 是 对 开源 社区 的 直接 赞助 费用 ;， 还 可 能 是 页 献 自 己 
的 代码 、 数 据 ， 等 等 ) ， 才 会 得 到 满意 的 回报 。 


闭 源 不 会 因为 开源 的 芝 动 发 展 而 快速 消失 ， 但 财源 与 开源 的 产品 及 系统 
模块 之 间 的 配合 会 更 加 紧密 。 闭 源 也 会 更 多 地 融入 开源 逐步 主导 的 开放 
产业 链 之 中 。 在 开放 的 架构 中 ， 团 源 模 块 和 开源 模块 之 间 的 竞争 会 更 加 
激烈 ， 这 对 用 户 来 说 是 一 件 大 好 事 ， 因 为 即使 朵 源 产品 继续 存在 ， 但 出 
于 苋 搜 的 需要 ， 其 也 会 为 用 户 提 供 更 加 实惠 合理 的 价格 。 


对 于 科研 机 构 和 处 于 学 习 阶 段 的 个 人 开发 者 而 言 ， 丰 宣 的 开源 软件 无 疑 
古 这 个 时 代 的 福音 。 其 不 仅 可 以 免费 使 用 ， 降 低 科 研 和 学 习 成 本 ， 还 可 
以 进行 任意 的 试验 和 修改 ， 是 取得 科研 成 束 和 提升 个 人 软件 开发 水 平 的 
极 佳 工具 。 但 是 如 果 希 望 科研 成 果 或 者 个 人 的 综合 技能 接 上 地 气 ， 即 实 
现 商 业 价值 转换 ， 开 源 软 件 能 帮 的 忙 是 很 有 限 的 。 因 为 商业 产品 所 看 重 
的 是 稳定 、 高 效 、 易 用 以 及 长 期 稳定 的 技术 支持 服务 ， 这 所 圾 要 的 最 大 
投入 不 是 智力 ， 而 是 体力 。 


对 于 IT 系统 供应 商 ， 基 于 开源 软件 开发 的 产品 ， 能 够 帮助 其 快速 完成 产 
品 化 ， 缩 短 产 品 开发 周期 ， 快 速 推 癌 市 场 。 但 正如 前 文 所 提 及 的 ， 同 样 
基于 开源 软件 的 产品 众多 ， 产 品 的 同 质 化 严重 ， 会 市 来 非 第 激烈 的 市 场 
竞争 ， 大 家 比拼 的 不 仅 包 括 价格 ， 还 有 产品 稳定 性 、 易 用 性 ， 更 多 的 是 
长 期 、 稳 定 且 深入 的 技术 服务 能 力 。 与 科研 机 构 比 ， 企 业 有 资金 及 人 力 
优势 。 但 企业 和 企业 比 ， 大 家 最 终 拼 的 几乎 还 是 研发 与 服务 的 资金 、 人 
员 的 投入 以 及 成 本 控制 能 力 。 





























对 于 大 多 数 开 源 软 件 的 最 终 企业 级 用 户 而 言 ， 最 大 的 价值 不 是 免费 ， 而 
是 开源 帝 来 开放 的 染 构 。 用 户 在 开放 的 架构 下 ， 对 架构 中 的 模块 可 以 有 
更 多 的 供应 商 进 行 选择 ， 而 且 模 块 可 以 更 加 容易 蔡 换 ， 特 别 是 在 云 的 环 
境 下 ， 整 个 虚拟 化 平台 都 可 以 蔡 换 。 这 样 可 以 避免 被 某 一 家 IT 供应 商 深 
度 绑 定 《〈“ 被 深度 绑 定 不 仅 会 融 来 高 昂 的 成 本 ， 而 且 用 户 期 望 的 任何 改动 
和 服务 支持 都 得 看 供应 商 的 脸色 ， 遇 上 傲慢 的 IT 供应 商 ， 有 时 给 钱 都 没 
用 ， 让 企业 用 户 丧 失业 务 灵 活性 ) 。 当 然 ， 企 业 级 用 户 采 用 基于 开源 产 
品 的 前 提 是 ， 基 于 开源 的 产品 综合 效能 与 可 用 性 可 以 进行 业务 商用 。 企 
业 用 户 在 使 用 基于 开源 产品 时 ， 往 往 容易 产生 一 个 误区 ， 那 就 是 期 望 基 
于 开源 的 产品 在 性 能 、 成 本 、 可 用 性 、 易 用 性 、 服 务 文 持 能 力 等 方面 能 
够 全 面 超越 财源 产品 。 这 个 理想 虽然 是 好 的 ， 但 不 是 很 现实 ， 这 里 有 一 
个 很 简单 的 逻辑 ， 开 源 产品 面 癌 财源 三 商 也 是 开放 的 ， 只 要 不 是 很 做 慢 
的 财源 厂商 ， 束 可 以 时 刻 学 习 开 源 产 品 的 最 新 特性 为 自身 所 用 ， 却 不 把 
自己 优化 的 内 容 开 放 给 别人 。 我 们 指望 完全 的 开源 全 面 超越 团 源 ， 可 能 
性 不 是 很 大 。 所 以 企业 是 否 选择 开源 的 决策 ， 还 是 要 回 到 对 开源 核心 价 
I 那 就 是 企业 是 否 觉 得 有 必要 选择 一 个 “深入 开放 ”的 代 架 


在 企业 级 用 户 里 ， 还 有 一 部 分 以 大 型 互联 网 企业 为 代表 的 ， 拥 有 强大 研 
发 能 力 的 特殊 用 户 ， 他 们 的 IT 核心 平台 基本 都 是 基于 开源 软件 搭建 的 ， 
而 且 是 基于 开源 自主 开发 的 。 开 源 对 他 们 的 最 大 价值 ， 是 面 问 目 身 业务 
的 深入 定制 能 力 。 大 型 互联 网 企业 的 IT 平台 规模 庞大 ， 业 务 特 性 独特 ， 
传统 财源 产品 的 推出 往往 为 了 满足 广大 普通 企业 用 户 的 需求 ， 对 于 大 型 
互联 网 企业 的 独特 需求 ， 难 于 满足 ， 而 且 因 为 同类 需求 客户 数量 少 ， 闭 
源 厂 商 更 不 乐意 定制 修改 。 为 了 克服 这 个 问题 ， 大 型 互联 网 企业 为 了 目 
喘 业 务 及 展 ， 只 能 基于 开源 ， 针 对 目 身 业务 进行 深入 的 定制 开发 。 这 种 
定制 开发 ， 可 以 说 投入 巨大 ， 而 且 涉 及 定制 的 层面 越 深 ， 花 销 越 大 ， 还 
会 带 来 平台 稳定 性 、 数 据 安全 性 等 方面 的 运营 风险 。 但 从 业务 回报 的 角 
度 看 ， 承 担 这 样 的 投入 和 风险 还 是 值得 的 。 
























































虚拟 化 技术 因为 节省 能 源 和 提升 服务 器 的 使 用 效率 等 诸多 因素 而 得 到 了 








广泛 的 认可 。 如 今 ， 许 多 公司 使 用 虚拟 技术 作为 建设 云 计算 的 基础 技 
术 ， 用 以 提高 硬件 资源 的 利用 率 ， 进 行 灾难 恢复 ， 提 高 办 公 自 动 化 水 
于， 


虚拟 化 技术 经 历 了 漫长 的 发 展 时 期 ， 早 在 20 世 纪 70 年 代 ， 大 型 计算 机 就 
一 直 在 同时 运行 多 个 操作 系统 实例 ， 每 个 实例 彼此 独立 ， 这 时 候 虚 拟 化 
技术 还 没有 得 到 广泛 的 普及 。 直 到 当今 ， 软 硬件 方面 的 技术 取得 了 巨大 
的 进步 ， 使 得 虚拟 化 技术 在 基于 行业 标准 的 大 众 化 x86 服 务 器 上 得 以 支 
a 
而 得 以 普及 。 


电信 和 领域 通常 所 说 的 应 用 ， 主 要 是 组 成 电信 数据 网 络 和 信 令 网 络 的 网 元 
中 的 逻辑 功能 实体 ， 例 如 ; 无 线 网 络 中 的 基站 控制 单元 、 分 组 数据 交换 
单元 ; 移动 通信 网 络 中 的 IP 多 媒体 域 控 制 网 元 、 移 动 交 换 控制 网 元 ， 固 
定 通 信和 领域 中 的 电话 交换 网 元 ， 以 及 文 撑 电 信 网 络 安 全 稳定 可 靠 运行 的 
运 维 管理 系统 ， 支 撑 电信 业务 运营 的 业务 支撑 系统 等 。 


企业 关键 应 用 ， 主 要 是 指 与 企业 的 日 党 运营 密切 相关 的 开 生 产 系统 或 者 
IT 文 撑 系 统 所 运行 的 各 种 软件 业务 应 用 程序 。 企 业 关 键 应 用 与 国民 经 济 
中 的 各 行 各 业 的 目 身 特 氮 密切 相关 ， 所 采用 的 软件 技术 分 门 别 类 、 干 差 
万 别 ， 具 有 非 闻 大 的 兰 异 性 。 


尽管 电信 和 企业 关键 应 用 的 种 类 丰 口 ， 但 很 多 应 用 对 云 计算 运行 环境 的 
要 求 比较 雷同 ， 归 纳 总 结 分 为 计算 高 性 能 低 时 延 要 求 、 可 靠 性 要 求 、 资 
源 占用 效率 要 求 等 。 























本 章 针 对 上 述 关 键 性 要 求 ， 选 取 了 计算 虚拟 化 中 的 关键 搁 术 予以 阐述 ， 
来 说 明 当 前 的 技术 发 展现 状 。 





Hypervisor 介 绍 


虚拟 化 技术 源 于 大 型 机 ， 最 早 可 以 追溯 到 20 世 纪 六 七 十 年 代 大 型 机 上 的 
虚拟 分 区 技术 ， 即 允许 在 一 台 主 机 上 运行 多 个 操作 系统 ， 让 用 户 尽 可 能 
充分 地 利用 昂贵 的 大 型 机 资源 。 随 着 技术 的 发 展 和 市 场 竞争 的 需要 ， 虚 
拟 化 技术 向 小 型 机 或 UNIX 服 务 器 上 移植 ， 只 是 由 于 真正 使 用 大 型 机 和 
小 型 机 的 用 户 还 是 少数 ， 加 上 各 厂商 产品 和 技术 之 间 的 不 兼容 ， 使 得 虚 
拟 化 技术 不 太 被 公众 所 关注 。 由 于 x86 架 构 在 设计 之 初 并 没有 考虑 支持 
虚拟 化 技术 ， 它 本 身 的 结构 和 复杂 性 使 得 在 其 之 上 进行 虚拟 化 非常 困 

难 ， 早 期 的 x86 架 构 并 没有 成 为 虚拟 化 技术 的 受益 者 。 


20 世 纪 90 年 代 ， 虚 拟 化 软件 厂商 采用 一 种 软件 解决 方案 ， 以 软件 模拟 的 
方式 使 X86 服务 器 平台 实现 虚拟 化 。 对 于 这 种 纯 软 件 的 “全 虚拟 化 ” 模 
式 ， 每 个 Guest OS 客户 操作 系统 ) 获得 的 关键 平台 资源 都 要 由 模拟 层 
的 软件 来 控制 和 分 配 ， 需 要 利用 软件 实现 二 进 制 转换 ， 而 二 进 制 转换 带 
来 的 开销 使 得 “完全 虚拟 化 ”的 性 能 大 打折 扣 。 


为 解决 性 能 问题 ， 出 现 了 一 种 新 的 虚拟 化 技术 “ 半 虚 拟 化 ”， 即 不 需要 二 
进 制 转换 ， 而 是 通过 对 客户 操作 系统 进行 代码 级 修改 ， 使 定制 的 Guest 
OS 获 得 额外 的 性 能 和 高 扩展 性 ， 但 是 修改 Guest OS 也 带 来 了 系统 指令 级 
的 冲突 及 运行 效率 问题 ， 需 要 投入 大 量 优化 的 工作 。 


当前 ， 虚 拟 化 技术 已 经 发 展 到 了 硬件 支持 的 阶段 ,“ 心 片 辅助 虚拟 化 ? 披 
术 就 是 把 纯 软 件 虚拟 化 技术 的 各 项 功能 以 硬件 电路 的 形式 来 实现 ， 可 减 
少 YMM 运 行 的 系统 开销 ， 同 时 满足 CPU 半 虚拟 化 和 二 进 制 转换 拉 术 的 
需求 ， 使 VMM 的 设计 得 到 简化 ， 进 而 使 VYMM 能 够 按 通 用 标准 进行 编 

写 。 蕊 片 辅助 虚拟 化 技术 除了 在 处 理 器 上 集成 芯片 辅助 虚拟 化 指令 ， 同 
时 提供 WO 方面 的 虚拟 化 支持 ， 最 终 可 实现 整个 平台 的 虚拟 化 。 虚 拟 化 
技术 的 实现 和 发 展 加 人们 展示 了 虚拟 化 应 用 的 广阔 前 景 。 


4.1.1 业界 典型 计算 虚拟 化 架构 说 日 


作为 后 续 了 解 计 算 虚 拟 化 关键 搁 术 的 基础 ， 本 市 简要 说 明 一 下 计算 虚拟 
化 的 架构 ， 并 介绍 一 些 基 础 概念 作为 铺垫 。 


计算 虚拟 化 技术 的 实现 形式 是 在 系统 中 加 入 一 个 虚拟 化 层 ， 将 下 层 的 资 
源 抽象 成 男 一 种 形式 的 资源 ， 提 供给 上 层 使 用 。 

















计算 虚拟 化 技术 的 通用 实现 方案 是 将 软件 和 硬件 相互 分 离 ， 在 操作 系统 
与 便 件 之 间 加 入 一 个 虚拟 化 软件 层 ， 通 过 空间 上 的 分 割 、 时 间 上 的 分 时 
以 及 模拟 ， 将 服务 顺 物 理 资 源 抽象 成 逻辑 资源 ， 癌 上 层 操 作 系 统 提 供 一 
个 与 它 原 先期 待 一 致 的 服务 顺便 件 环境 ， 使 得 上 层 操作 系统 可 以 直接 运 
行 在 虚拟 环境 上 ， 并 多 许 具 有 不 同 操作 系统 的 多 个 虚拟 机 相互 隔离 ， 并 
发 运行 在 同一 台 物 理 机 上 ， 从 而 提供 更 高 的 IT 资源 利用 率 和 灵活 性 。 


计算 虚拟 化 的 虚拟 化 软件 层 需 要 模拟 出 来 的 逻辑 功能 主要 为 高 效 、 独 立 
的 虚拟 计算 机 系统 ， 我 们 称 之 为 虚拟 机 ， 在 虚拟 机 中 运行 的 操作 系统 软 
件 ， 我 们 称 之 为 Guest OS 。 


计算 虚拟 化 技术 可 以 将 单个 CPU 模 拟 为 多 个 CPU， 人 允许 一 个 平台 同时 运 
行 多 个 操作 系统 ， 并 且 应 用 程序 可 以 在 相互 独立 的 空间 内 运行 而 互 不 影 
啊 。 简 单 地 说 ， 计 算 虚 拟 化 技术 实现 了 计算 单元 的 模拟 和 模拟 出 来 的 计 
算 单元 间 的 隔离 。 


虚拟 化 软件 层 模拟 出 来 的 每 全 虚拟 机 都 是 一 个 完整 的 系统 ， 它 具有 处 理 
器 、 内 存 、 网 络 设备 、 存 储 设备 和 BIOS， 因 此 虚拟 机 中 运行 的 操作 系 
统 和 应 用 程序 与 在 物理 服务 器 上 运行 的 操作 系统 和 应 用 程序 并 没有 本 质 
的 区 别 〈 见 图 4-1) 。 


计算 虚拟 化 的 这 个 软件 层 ， 也 就 是 虚拟 机 监控 器 (Virtual Machine 
Monitor，VMM) ， 通 常 被 称 为 Hypervisor。 常 见 的 Hypervisor 软 件 栈 架 
构 方 案 分 为 两 类 ， 即 Type-I 型 和 Type-II 型 。 


Type-I 型 ( 裸 金 属 型 ) 指 VMM 直 接 运 行 在 裸 机 上 ， 使 用 和 管理 底层 的 
硬件 资源 ，Guest OS 对 真实 硬件 资源 的 访问 都 要 通过 VMM 来 完成 ， 作 
为 底层 硬件 的 直接 操作 者 ，VMM 拥 有 硬件 的 驱动 程序 。 





Type-I: 裸 金属 架构 Type-II: 宿主 型 架构 


虚拟 化 层 


宿主 操作 系统 





CPU 、 内 存 、 硬 盘 CPU、 内 存 、 硬 盘 








图 4-1 虚拟 化 架构 


Type-I 型 〈 宿 主 型 ) 指 VMM 之 下 还 有 一 层 宿 主 操作 系统 ， 由 于 Gnuest 
OS 对 硬件 的 访问 必须 经 过 宿主 操作 系统 ， 因 而 带 来 了 额外 的 性 能 开 
销 ， 但 可 充分 利用 宿主 操作 系统 提供 的 设备 驱动 和 底层 服务 来 进行 内 存 
管理 、 进 程 调 度 和 资源 管理 等 。 


我 们 进一步 分 析 Hypervisor 对 于 CPU 指令 的 模拟 和 虚拟 实例 的 隔离 方 
式 ， 计 算 虚 拟 化 技术 可 以 细 分 为 如 下 几 个 子 类 。 


全 虚拟 化 Full virtualizatiom) 


全 虚拟 化 是 指 虚 拟 机 模拟 了 完整 的 底层 硬件， 包括 处 理 器 、 物 理 内 存 、 
时 钟 、 外 设 等 ， 使 得 为 原始 硬件 设计 的 操作 系统 或 其 他 系统 软件 完全 不 
做 任何 修改 就 可 以 在 虚拟 机 中 运行 。 操 作 系 统 与 真实 硬件 之 间 的 交互 可 
以 看 成 是 通过 一 个 预先 规定 的 硬件 接口 进行 的 。 全 虚拟 化 YMM 以 完整 
模拟 硬件 的 方式 提供 全 部 接口 (同时 还 必须 模拟 特权 指令 的 执行 过 

程 ) 。 举 例 而 言 ，x86 体 系 结构 中 ， 对 于 操作 系统 切换 进程 页 表 的 操 

作 ， 真 实 硬件 通过 提供 一 个 特权 CR3 寄 存 器 来 实现 该 接口 ， 操 作 系 统 只 
需 执 行 “mov pgtable,%%cr3? 汇 编 指 令 即 可 。 全 虚拟 化 VMM 必 须 完 整地 
模拟 该 接口 执行 的 全 过 程 。 如 果 硬 件 不 提供 虚拟 化 的 特殊 支持 ， 那 么 这 
个 模拟 过 程 将 会 十 分 复杂 。 一 般 而 言 ，VMM 必 须 运 行 在 最 高 优先 级 来 
完全 控制 主机 系统 ， 而 Guest ”0OS 需 要 降级 运行 ， 从 而 不 能 执行 特权 操 
作 。 当 Guest OS 执行 前 面 的 特权 汇编 指令 时 ， 主 机 系统 会 产生 异常 








(General Protection Exception) ， 执 行 控制 权 将 重新 从 Guest OS 转 到 
VMM 手 中 。VMM 事 先 分 配 一 个 变量 作为 影子 CR3 寄 存 器 给 Guest OS， 
将 pgtable 代 表 的 客户 机 物理 地 址 (Guest Physical Address) 填 入 影子 
CR3 寄 存 器 ， 然 后 VMM 需 要 将 pgtable 翻 译 成 主机 物理 地 址 (Host 
Physical Address) 并 填 入 物理 CR3 寄 存 器 ， 最 后 返回 到 Guest OS 中 。 随 
后 VMM 还 将 处 理 复 杂 的 Guest OS 缺 页 异常 (Page Fault) 。 比 较 著名 的 
全 虚拟 化 VMM 有 Microsoft Virtual PC、VMware Workstation、Sun 
Virtual Box、Parallels Desktop for Mac 和 QEMU。 


超 虚 拟 化 (Paravirtualization) 


这 是 一 种 修改 Guest ”OS 部 分 访问 特权 状态 的 代码 以 便 直接 与 YMM 交 互 
的 技术 。 在 超 虚 拟 化 虚拟 机 中 ， 部 分 人 硬件 接口 以 软件 的 形式 提供 给 客户 
机 操作 系统 ， 这 可 以 通过 Hypercall (VMM 提 供给 Guest OS 直接 调用 ， 
与 系统 调用 类 似 ) 的 方式 来 提供 。 例 如 ，Guest OS 把 切换 页 表 的 代码 修 
改 为 调用 Hypercall 来 直接 完成 修改 影子 CR3 寄 存 占 和 翻译 地 址 的 工作 。 

由 于 不 会 产生 额外 的 异常 和 模拟 部 分 人 硬件 执行 流程 ， 超 虚拟 化 可 以 大 幅 
度 提 高 性 能 ， 比 较 著 名 的 VMM 有 Denali、Xen。 


硬件 辅助 虚拟 化 (Hardware-Assisted Virtualization) 


硬件 辅助 虚拟 化 是 指 借助 硬件 (主要 是 主机 处 理 器 的 支持 来 实现 高 效 
的 全 虚拟 化 。 例 如 有 了 Intel-VT 技 术 的 支持 ，Guest OS 和 VMM 的 执行 环 
境 自动 地 完全 隔离 开 来 ，Guest OS 有 自己 的 “全 套 寄存 器 *， 可 以 直接 运 
行 在 最 高 级 别 。 因 此 在 上 面 的 例子 中 ，Guest OS 能 够 执行 修改 页 表 的 汇 
nn 目前 x86 体 系 结构 上 可 用 的 两 种 硬件 辅助 
虑 站 


部 分 虚拟 化 (Partial Virtualization) 


VMM 只 模拟 部 分 底层 硬件， 因此 客户 机 操作 系统 不 做 修改 是 无 法 在 虚 
拟 机 中 运行 的 ， 其 他 程序 可 能 也 需要 进行 修改 。 在 历史 上 ， 部 分 虚拟 化 
是 通 往 全 虚拟 化 道路 上 的 重要 里 程 碑 ， 最 早出 现在 第 一 代 的 分 时 系统 
CTSS 和 IBM M44/44X 实 验 性 的 分 页 系统 中 。 




















操作 系统 级 虚拟 化 〈Operating System Level Virtualization ) 
在 传统 操作 系统 中 ， 所 有 用 户 的 进程 本 质 上 是 在 同一 个 操作 系统 的 实例 


中 运行 的 ， 因 此 内 核 或 应 用 程序 的 缺陷 可 能 会 影响 其 他 进程 。 操 作 系 统 
级 虚拟 化 是 一 种 在 服务 器 操作 系统 中 使 用 的 轻 量 级 的 虚拟 化 技术 ， 内 核 
通过 创建 多 个 虚拟 的 操作 系统 实例 《内核 和 库 ) 来 隔离 不 同 的 进程 ， 不 
同 实 例 中 的 进程 完全 不 了 解 对 方 的 存在 。 比 较 著 名 的 虚拟 化 技术 有 
Solaris Container、FreeBSD Jail 和 OpenVZ 等 。 





如 前 文 所 述 ， 为 了 满足 电信 和 企业 关键 应 用 ， 计 算 虚 拟 化 需要 满足 计算 
高 性 能 低 时 延 的 要 求 、 可 靠 性 的 要 求 、 资 源 占 用 效率 的 要 求 。 为 了 满足 
计算 高 性 能 低 时 延 的 要 求 ， 主 要 的 关键 性 技术 如 下 。 


1. 精细 化 CPU 调度 技术 


为 了 保证 电信 和 关键 企业 应 用 运行 的 性 能 ， 就 要 求 同 一 合 物理 机 上 的 多 
个 虚拟 化 运行 实例 所 获取 的 资源 既 能 满足 其 运行 的 需要 ， 同 时 不 互相 产 
生 干 扰 ， 精 细 化 的 CPU 调 度 技术 应 运 而 生 。 


精细 化 CPU 调度 技术 主要 指 的 是 CPU 上 下 限 配额 及 优先 级 调度 技术 。 


现代 计算 机 体系 结构 一 般 至 少 有 两 个 特权 级 《〈 即 用 户 态 和 核心 态 ) 用 来 
分 隅 系统 软件 和 应 用 软件 。 那 些 只 能 在 处 理 器 的 最 高 特权 级 《内核 态 ) 
执行 的 指令 称 之 为 特权 指令 ， 一 般 可 读 写 系统 关键 资源 的 指令 〈( 即 敏感 
指令 ) 绝 大 多 数 都 是 特权 指令 (x86 存 在 若干 敏感 指令 ， 这 些 指令 是 非 
特权 指令 ) 。 如 果 执 行 特权 指令 时 处 理 器 的 状态 不 在 内 核 态 ， 通 常会 引 
发 一 个 异常 ， 从 而 交 由 系统 软件 来 处 理 这 个 非法 访问 《陷入 ) 。 经 典 的 
虚拟 化 方法 就 是 使 用 “特权 解除 * 和 “陷入 -模拟 ”的 方式 ， 即 将 Guest OS 运 
行 在 非特 权 级 ， 而 将 VMM 运 行 于 最 高 特权 级 〈 完 全 控制 系统 资源 ) 。 
解除 了 Guest OS 的 特权 级 后 ，Guest OS 的 大 部 分 指令 仍 可 以 在 硬件 上 直 
接 运 行 ， 只 有 执行 到 特权 指令 时 ， 才 会 陷入 到 VMM 模 拟 执 行 〈 隐 入- 模 
拟 ) 。“ 陷 入 -模拟 ”的 本 质 是 保证 可 能 影响 VMM 正 确 运行 的 指令 由 
VMM 模 拟 执行 ， 大 部 分 的 非 敏 感 指令 还 是 照 冲 运 行 。 

因为 x86 指 令 中 有 各 干 条 指令 是 需要 被 VMM 捕 获 的 敏感 指令 ， 但 是 却 不 
征 特权 指令 〈 称 为 临界 指令 )》， 因 此 “特权 解除 ?并 不 能 导致 它们 发 生 陷 
入 模拟 ， 从 而 阻碍 指令 的 虚拟 化 。x86 下 的 敏感 指令 大 致 分 类 如 下 。 


(1) 访问 或 修改 机 需 状 态 或 虚拟 机 状态 的 指令 。 


























(2) 访问 或 修改 敏感 寄存 器 或 存储 单元 的 指令 ， 比 如 访问 时 钟 寄 存 右 
和 中 靳 寄存 器 。 


(3) 访问 存储 保护 系统 或 内 存 、 地 址 分 配 系统 的 指令 ( 段 页 之 类 ) 。 
(4) 所 有 LO 指令 。 


其 中 的 (1) 和 “(4) 都 是 特权 指令 ， 在 内 核 态 下 执行 时 会 自动 产生 陷阱 
被 VMM 捕 获 ， 但 是 (2) 和 “(3) 不 是 特权 指令 ， 而 是 临界 指令 。 部 分 
临界 指令 会 因为 Guest OS 的 权限 解除 执行 失败 ， 但 是 却 不 会 殷 出 异常 ， 
所 以 不 能 被 捕获 ， 如 (3) 中 的 VERW 指 令 。 


基于 x86 计 算 架 构 的 指令 处 理 原 理 ，CPU 的 精细 化 调度 技术 采用 了 vCPU 
调度 分 配 机 制 来 实现 精细 化 管控 ， 通 常 也 称 之 为 CPU QoS 功能 〈 见 图 4- 
四 









































图 4-2 ”vCPU 调 度 分 配 机 制 


从 虚拟 机 系统 的 结构 与 功能 划分 可 以 看 出 ， 客 户 操作 系统 与 虚拟 机 监视 
器 共同 构成 了 虚拟 机 系统 的 两 级 调度 框架 ， 图 4-2 是 一 个 多 核 环境 下 虚 
拟 机 系统 的 两 级 调度 框架 。 客 户 操作 系统 负责 第 2 级 调度 ， 即 线程 或 进 
程 在 vCPU 上 的 调度 《将 核心 线程 映射 到 相应 的 虚拟 CPU 上 ) 。 虚 拟 机 


监视 器 负责 第 1 级 调度 ， 即 vCPU 在 物理 处 理 单 元 上 的 调度 。 两 级 调度 的 
调度 策略 和 机 制 不 存在 依赖 关系 。vCPU 调 度 器 负责 物理 处 理 器 资源 在 
各 个 虚拟 机 之 间 的 分 配 与 调度 ， 本 质 上 把 各 个 虚拟 机 中 的 vVCPU 按 照 一 
定 的 全 上 略 和 机 制 调度 在 物理 处 理 单元 上 ， 可 以 采用 任意 的 全 略 来 分 配 物 
理 资 源 ， 满 足 虚拟 机 的 不 同 需求 。vCPU 可 以 调度 在 一 个 或 多 个 物理 处 
理 单 元 执行 (分 时 复 用 或 空间 复 用 物理 处 理 单 元 ) ， 也 可 以 与 物理 处 理 
单元 建立 一 对 一 固定 的 映射 关系 《限制 访问 指定 的 物理 处 理 单 元 ) 。 
简 言 之 ， 就 是 使 得 虚拟 机 获得 的 资源 可 以 衡量 ， 并 且 资 源 在 虚拟 机 之 间 
ee 这 里 的 资源 是 计算 资源 、 内 存 资源 、 网 络 资源 和 存储 资 
源 。 


所 以 ，CPU QoS 功能 实现 的 最 终 形 态 包 括 以 下 几 种 。 














” 资源 上 限 限 制 : 适用 资源 严格 隔离 场景 。 


” 资源 下 限 预 留 : 适用 资源 衡量 场景 ， 结 合 上 限 设置 实现 资源 可 
销售 。 


” 资源 份额 分 配 : 适用 资源 复 用 场景 。 

” 上 限 限 制 : 保证 虚拟 机 隔离 资源 竞争 ， 保 证 用 户 体验 。 
”下 限 预 留 : 最 低 资源 保障 ， 保 证 服务 质量 。 

” 份额 分 配 : 针对 用 户 划 分 不 同等 级 ， 实 现 资源 竞争 。 


CPU QoS 的 价值 在 于 为 应 用 提供 计算 服务 质量 的 保障 ， 确 保 针 对 资源 的 
分 配 是 确定 的 、 可 衡量 的 。 


CPU QoS 的 三 个 特性 带 来 的 价值 举例 说 明 如 下 《假设 资源 为 10 份 ， 有 3 
台 虚 拟 机 ) 。 


” 限制: VM1/VM2/VM3 各 设置 资源 限制 为 3 份 ， 则 3 台 虚 拟 机 最 
多 只 能 使 用 各 上 自 3 份 资源 ， 不 会 争 抢 其 他 虚拟 机 的 份额 资源 或 剩余 
的 1 份 资源 ， 实 现 严 格 资源 隔离 ， 保 障 用 户 体 验 。 





-~ 预 留 : VMLVM2/VM3 各 设置 资源 预 留 为 3 份 ， 则 3 人 台 虚 拟 机 最 
少 可 以 使 用 3 份 资 源 ， 保 证 资源 销售 的 可 衡量 性 ， 保 障 服务 质量 。 


”份额 ,VM1/VM2/VM3 各 设置 资源 份额 为 高 /中 / 低 ， 则 3 台 虚 拟 
机 在 充分 竞争 资源 时 ， 根 据 资源 不 同 按照 比例 分 配 ( 见 图 4-3) 。 
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图 4-3 CPU QoS 


征 资源 设置 预 留 的 排他 ， 而 不 是 资源 使 用 的 排 


> 以 单 台 物理 服务 器 节点 上 的 CPU 作为 计算 资源 池 ， 命 名 为 
pool; 


” 上限 限 制 不 能 超过 这 个 pool 的 能 力 ; 


” 了 预 留 设置 不 能 超过 上 限 限制 ， 如 果 上 限 没 有 设置 ， 那 么 不 能 超 
过 pool 的 能 力 ; 


预 留 对 资源 设置 的 排他 性 : 虚拟 化 平台 看 到 的 底层 资源 是 
pool， 如 果 给 虚拟 机 VM1 设 置 了 预 留 pool1， 那 么 要 给 VM2 设 置 的 
预 留 资源 量 只 能 有 pool-pooll 这 么 多 ; 


” 对 预 留 的 资源 使 用 是 共享 复 用 的 而 不 是 排他 的 ， 束 是 说 总 资源 
是 pool，VM1 预 留 了 pool1，VM2 预 留 了 pool2， 其 中 
pool1+pool2=pool; 如 果 VM1 并 没有 使 用 完 pool1 的 资源 ， 那 么 VM2 
可 以 使 用 大 于 pool2 的 资源 。 


2.NUMA 架 构 感知 的 调度 技术 


随 痢 x86 架 构 体 系 的 发 展 ， 大 部 分 用 于 提供 计算 资源 的 物理 器 件 ， 也 就 
是 x86 服 务 器 ， 都 按照 SMP 的 系统 架构 来 进行 处 理 能 力 的 增强 。 这 束 引 
入 了 NUMA 的 问题 。 


通过 虚拟 化 软件 的 Host NUMA 技 术 ， 可 以 显著 提高 虚拟 机 的 性 能 ， 降 低 
0 以 下 针对 NUMA 和 虚拟 化 软件 的 Host NUMA 技 术 进 行 详细 
苗 述 。 


NUMA 是 非 一 致 性 内 存 架 构 (Non-uniform Memory Architecture) ， 解 
决 了 SMP 系 统 中 的 可 扩展 性 问题 。NUMA 将 几 个 CPU 通 过 内 存 总 线 与 一 
块 内 存 相 连 构成 一 个 组 ， 束 个 系统 就 被 分 为 在 干 个 Node 〈 见 图 4-4) 。 
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图 4-4 CPU Node 


一 个 Node 服 务 器 内 包含 若干 CPU 和 一 块 内 存 ，CPU 访 问 其 所 在 Node 的 
本 地 内 存 的 速度 最 快 ， 访 问 其 他 Node 的 内 存 性 能 较 差 。 


操作 系统 根据 SRAT 和 SLIT 表 识别 NUMA 拓 扑 ( 见 图 4-5〉。 


虚拟 化 软件 实现 的 Host NUMA 主 要 提供 CPU 负载 均衡 机 制 ， 解 决 CPU 资 


源 分 配 不 平衡 引起 的 VM 性 能 瓶颈 问题 ， 当 局 动 VM 时 ，Host NUMA 根 
据 当 时 主机 内 存 和 CPU 负载 ， 选 择 一 个 负载 较 轻 的 Node 放 置 该 VM， 使 
VM 的 CPU 和 内 存 资源 分 配 在 同一 个 Node 上 。 如 图 4-5 左 边 所 示 ，Host 
NUMA 把 VM 的 物理 内 存放 置 在 一 个 Node 上， 对 VM 的 vCPU 调 度 范围 限 
制 在 同一 个 Node 的 物理 CPU 上 ， 并 将 VM 的 vVCPU 亲 和 性 绑 定 在 该 Node 
的 物理 CPU 上 。 考 虑 到 VM 的 CPU 负载 是 动态 变化 的 ， 在 初始 放置 的 
Node 上 ，Node 的 CPU 资源 负载 也 会 随 之 变化 ， 这 会 导致 某 个 Node 的 
CPU 资源 不 足 ， 而 另 一 个 Node 的 CPU 资源 充足 ， 在 此 情况 下 ，Host 
NUMA 会 从 CPU 资源 不 足 的 Node 上 选择 VM， 把 VM 的 CPU 资源 分 配 在 
CPU 资源 充足 的 Node 上 ， 从 而 动态 实现 Node 间 的 CPU 负载 均衡 。 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 1 一 一 一 一 一 一 一 一 一 一 一 一 一 | 
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图 4-5 ”Host NUMA 原 理 图 


对 于 VM 的 vCPU 个 数 超过 Node 中 CPU 的 核 数 的 VM， 如 图 4-5 右 边 所 示 ， 

Host NUMA 把 该 VM 的 内 存 均 匀 地 放置 在 每 个 Node 上 上 ，vCPU 的 调度 范 
围 为 所 有 Node 的 CPU。 用 户 绑 定 了 VM 的 vCPU 亲 和 性 ，Host NUMA 特 
性 根据 用 户 的 vCPU 杀 和 性 设置 决定 YM 的 放置 ， 若 绑 定 在 一 个 Node 的 

CPU 上 ，Host NUMA 把 VM 的 内 存 和 CPU 放 置 在 一 个 Node 上 ， 若 绑 定 在 
多 个 Node 的 CPU 上 ，Host NUMA 把 VM 的 内 存 均匀 分 布 在 多 个 Node 上 ， 

VM 的 vCPU 在 多 个 Node 的 CPU 上 均衡 调度 。 


虚拟 化 软件 提供 复杂 的 NUMA 调 度 程 序 来 动态 平衡 处 理 吉 负载 ， 根 据 当 
时 主机 内 存 和 CPU 负载 优先 把 VYM 的 CPU 和 内 存 资 源 分 配 在 同一 个 Node 




















上 ， 并 随 着 资源 负载 的 动态 变化 对 主机 Node 间 的 CPU 资 源 做 负载 均衡 。 


此 特性 为 虚拟 化 软件 基本 特性 ， 不 需要 省 理 员 明 确 处 理 市 点 之 间 的 虚拟 
机 平衡 ， 在 各 种 场景 均 可 使 用 。 


Host NUMA 保 证 VM 访 问 本 地 物理 内 存 ， 减 少 了 内 存 访问 延迟 ， 可 以 提 
升 VM 性 能 ， 性 能 提升 的 幅度 与 VM 虚 拟 机 访问 的 内 存 大 小 和 频率 相 
关 。 





3. 内 存 复 用 技术 


前 文 介绍 了 计算 虚拟 化 技术 中 CPU 分 配 的 技术 ， 本 市 针对 提 口 资源 利用 
率 的 内 存 管 理 和 复 用 技术 进行 说 明 《〈 见 图 4-6) 。 


计算 虚拟 化 软件 中 ，VMM (Virtual Machine Monitor) 掌控 所 有 系统 资 
源 ， 因 此 VMM 和 掌握 整个 内 存 资 源 ， 负 责 页 式 内 存 管理 ， 维 护 虚 拟 地 址 
到 机 器 地 址 的 映射 关系 。 因 Guest OS 本 身 亦 有 页 式 内 存 管理 机 制 ， 则 有 
VMM 的 整个 系统 台 比 正常 系统 多 了 一 层 映 射 。 


映射 关系 如 下 : Guest OS: PA=f (VA) 、VMM: MA =g (PA) 。 


VMM 维 护 一 套 页 表 ， 人 负责 PA 到 MA 的 映射 。Guest ”OS 维护 一 套 页 表 ， 
负责 VA 到 PA 的 上 映射。 实际 运行 时 ， 用 户 程 序 访问 YA1， 经 Guest OS 的 
页 表 转 换 得 到 PA1， 再 由 VMM 介 入 ， 使 用 VMM 的 页 表 将 PA1 转 换 为 
MA1。 
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图 4-6 ”内 存 虚 拟 化 三 层 模型 

















页 表 虚 拟 化 技术 原理 


普通 MMU 只 能 完成 一 次 虚拟 地 址 到 物理 地 址 的 映射 ， 在 虚拟 机 环境 
下 ， 经 过 MMU 转 换 所 得 到 的 “物理 地 址 ?并 不 是 真正 的 机 器 地 址 。 若 需 
得 到 真正 的 机 器 地 址 ， 必 须 由 VMM 介 入 ， 再 经 过 一 次 映射 才能 得 到 总 
线 上 使 用 的 机 器 地 址 。 如 果 虚 拟 机 的 每 个 内 存 访问 都 需要 VMM 介 入 ， 

并 由 软件 模拟 地 址 转换 ， 效 率 是 很 低下 的 ， 几 乎 不 具有 实际 可 用 性 ， 为 
实现 虚拟 地 址 到 机 器 地 址 的 高 效 转换 ， 现 普遍 采用 的 思想 是 : 由 VMM 
根据 映射 f 和 g 生 成 复合 的 映射 fg， 并 直接 将 这 个 映射 关系 写 入 MMU。 当 
前 采用 的 页 表 虚 拟 化 方法 主要 是 MMU 类 虚拟 化 (MMU 
ee 和 影子 页 表 ， 后 者 已 被 内 存 的 心 片 辅助 虚拟 化 技术 所 




















MMU Paravirtualization 的 基本 原理 是 当 Guest OS 创建 一 个 新 的 页 表 时 ， 
会 从 它 所 维护 的 空 闪 内 存 中 分 配 一 个 页 面 ， 并 同 Xen 注 册 该 页 面 ，Xen 
会 剥夺 Guest OS 对 该 页 表 的 写 权 限 ， 之 后 Guest OS 对 该 页 表 的 写 操 作 会 
陷入 到 Xen 加 以 验证 和 转换 。Xen 会 检查 页 表 中 的 每 一 项 ， 确 保 他 们 只 
映射 了 属于 该 虚拟 机 的 机 器 页 面 ， 而 且 不 得 包含 对 页 表 页 面 的 可 写 映 
射 。 然 后 Xen 会 根据 目 己 所 维护 的 映射 和 关系， 将 页 表 项 中 的 物理 地 址 蔡 
换 为 相应 的 机 器 地 址 ， 最 后 再 把 修改 过 的 页 表 载 和 MMU。 如 此 ，MMU 
就 可 以 根据 修改 过 的 页 表 直 接 完 成 虚拟 地 址 到 机 器 地 址 的 转换 。 























内 存 芯片 辅助 虚拟 化 


内 存 的 心 片 辅助 虚拟 化 技术 是 用 于 蔡 代 虚拟 化 技术 中 软件 实现 的 “影子 
页 表 ” 的 一 种 心 片 辅助 虚拟 化 技术 ， 其 基本 原理 是 : GVA“〈 客 户 操作 系 
统 的 虚拟 地 址 〉 转 换 到 GPA (客户 操作 系统 的 物理 地 址 ) ， 然 后 再 转换 
到 HPA【《〈 和 宿主 操作 系统 的 物理 地 址 ) 。 两 次 地 址 转换 都 由 CPU 硬件 自动 
完成 (软件 实现 内 存 开 销 大 、 性 能 差 )”。 我 们 以 VT-x 技 术 的 页 表 扩 充 技 
术 Extended Page Table (EPT) 为 例 。 首 先 ，VMM 预 先 把 客户 机 物理 地 
址 转换 到 机 器 地 址 的 EPT 页 表 设 置 到 CPU 中 ; 其 次 ， 客 户 机 修改 客户 机 
页 表 无 需 VMM 干 预 ， 最 后 ， 地 址 转换 时 ，CPU 自 动 但 找 两 张 页 表 完 成 
客户 机 虚拟 地 址 到 机 器 地 址 的 转换 。 使 用 内 存 的 忌 片 辅助 虚拟 化 技术 ， 
客户 机 运行 过 程 中 无 需 VMM 王 预 ， 去 除了 大 量 软件 开销 ， 内 存 访问 性 
能 接近 物理 机 。 


虚拟 化 软件 平台 提供 多 种 内 存 复 用 技术 和 灵活 自动 的 内 存 复 用 集 略 。 对 
于 茶 综 物理 内 存 资 源 比较 紧张 的 场景 ， 如 琳 用 户 布 轧 运 行 超过 物理 内 存 
能 力 的 虚拟 机 ， 以 达到 市 省 成 本 的 目的 ， 残 需要 有 内 存 复 用 开 略 来 动态 
地 对 内 存 资源 进行 分 配 和 复 用 。 内 存 复 用 策略 通过 内 存 复 用 技术 ， 提 升 
物理 内 存 利用 率 的 同时 ， 尽 可 能 减少 对 虚拟 机 性 能 的 影响 。 客 户 无 需 关 
心 何 时 调用 和 怎么 调用 几 种 复 用 技术 ， 只 需 简 单 配 置 和 开启 复 用 集 略 后 
束 能 达到 提升 虚拟 机 密度 的 目的 。 


虚拟 化 软件 的 内 存 复 用 技术 有 以 下 三 种 ， 内存 气泡 、 内 存 零 页 共享 和 内 
存 交 换 技 术 。 


(1) 内 存 气 泡 技术 (Ballooning) 


内 存 气 泡 技 术 是 一 种 VMM 通 过 “诱导 ”客户 机 操作 系统 来 回收 或 分 配 客 
户 机 所 拥有 的 宿主 机 物理 内 存 的 技术 。 当 客户 机 物理 内 存 足 够 时 ， 客 户 
机 操作 系统 从 其 闲置 客户 机 物理 机 内 存 链表 中 返回 客户 机 物理 内 存 给 气 
球 ; 当 客 户 机 物理 内 存 资源 稀缺 时 ， 
户 机 物理 内 存 ， 以 满足 气球 申请 客户 机 物理 内 存 的 需要 。 通 过 Balloon 
Driver 模 块 ， 从 源 虚 拟 机 申请 可 用 内 存 页 面 ， sy Table 授 权 给 目 
标 虚 拟 机 ， 并 更 新 虚拟 机 物理 地 址 和 机 器 地 址 映射 关系 表 。 


通过 使 用 Ballooning 技 术 ， 可 以 提升 内 存 使 用 效率 。 



































(2) 内 存 零 页 共 诗 技术 


内 存 零 页 共 诗 技术 作为 内 存 复 用 技术 的 一 种 ， 能 有 效 地 识别 和 释放 虚拟 
机 内 未 分 配 使 用 的 零 页 ， 以 达到 提高 内 存 复 用 率 的 目的 。 客 户 开 局 零 页 
共有 至 技术 后 ， 能 实时 从 虚拟 机 内 部 把 零 页 进行 共 圣 ， 从 而 把 其 占用 的 内 
存 资 源 释 放出 来 给 其 他 虚拟 机 使 用 ， 以 创建 更 多 的 虚拟 机 ， 实 现 提 高 虚 
拟 机 密度 的 目的 。 与 内 存 气泡 技术 不 同 ， 零 页 共享 后 的 内 存 页 对 于 虚拟 
机 来 说 还 是 可 用 的 ， 虚 拟 机 可 以 随时 根据 需要 收回 这 部 分 内 存 ， 用 户 体 
验 相对 来 说 更 加 友好 。 


用 户 进程 定时 扫描 虚拟 机 的 内 存 数据 ， 如 果 发 现 其 数据 内 容 全 为 零 ， 则 
通过 修改 P2M 映 射 的 形式 把 其 指 回 一 个 特定 的 零 页 ， 从 而 做 到 在 物理 内 
存 中 仅 保 留 一 份 零 页 拷贝 。 虚 拟 机 的 所 有 和 零 页 均 指 问 该 页 ， 以 达到 市 省 
内 存 资 源 的 目的 。 当 零 页 数据 发 生变 动 时 ， 由 Xen 动 态 地 分 配 一 页 内 存 
出 来 给 虚拟 机 ， 使 修改 后 的 数据 有 内 存 页 进行 存放 ， 因 此 对 于 Guest OS 
来 说 ， 整 个 零 页 共享 过 程 是 完全 不 感知 的 。 


(3) 内 存 交 换 技术 


内 存 交 换 技 术 作 为 内 存 复 用 技术 的 一 种 ， 能 通过 Xen 把 虚拟 机 内 存 数据 
换 出 到 存储 介质 上 的 交换 文件 中 ， 从 而 释放 内 存 资 源 ， 以 达到 提 融 内 存 
复 用 率 的 目的 。 由 于 内 存 气 泡 和 和 零 页 共享 的 数量 与 虚拟 机 本 里 的 内 存 使 
用 情况 强 相 关 ， 因 此 其 效果 不 是 很 稳定 ， 用 户 使 用 内 存 交 换 撤 术 ， 可 以 
弥补 上 述 不 足 ， 可 以 保证 释放 一 定量 的 内 存 空间 (理论 上 所 有 虚拟 机 内 
存 都 能 交换 出 来 》， 但 同时 会 市 来 一 定 程度 的 虚拟 机 性 能 下 降 。 


内 存 交 换 触 发 时 ， 根 据 用 户 需 要 告知 Xen 需 要 问 某 个 虚拟 机 交换 出 一 定 
量 的 内 存 页 出 来 ，Xen 按 一 定 的 选 页 策略 从 虚拟 机 中 选择 相应 数量 的 页 
后 ， 把 页 数据 保存 到 存储 介质 上 的 交换 文件 中 ， 同 时 释放 原先 存放 数据 
的 那些 页 供 其 他 虚拟 机 使 用 。 当 虚拟 机 读 写 的 页 正好 是 被 换 出 的 页 时 ， 
在 缺 页 处 理 时 Xen 会 重新 为 其 分 配 一 页 内 存 ， 然 后 从 存储 介质 上 的 交换 
文件 中 把 相应 的 页 交换 回 新 分 配 的 内 存 页 中 ， 同 时 再 选择 另外 一 页 内 存 
交换 出 去 ， 从 而 保证 虚拟 机 对 页 的 正常 读 写 的 同时 ， 稳 定 交 换 页 的 数 
量 。 这 个 过 程 与 零 页 共享 一 样 ， 对 Guest OS 都 是 不 可 感知 的 。 


4.VO 调 度 中 断 优化 技术 
影响 电信 和 企业 关键 应 用 的 运行 时 响应 时 延 的 因素 很 多 ， 其 中 ， 中 断 处 





















































理 就 是 一 个 在 虚拟 化 条 件 下 的 关键 因素 。 


CPU 在 处 理 IMO 访 问 请 求 出 现 中 断 时 ， 其 实际 处 于 等 竺 的 状态 ， 在 虚拟 
化 的 条 件 下 ， 因 为 单个 物理 机 上 运行 的 虚拟 机 实例 比较 多 ， 因 此 所 产生 
的 MO 中 断 请 求 也 变 多 ， 这 样 实际 上 造成 了 物理 CPU 的 等 待 ， 从 而 影响 
了 应 用 运行 的 啊 应 时 延 和 性 能 。 


VMM 通 过 IO 虚拟 化 来 复 用 有 限 的 外 设 资源 ， 其 通过 截获 Guest OS 对 IO 
设备 的 访问 请 求 和 通过 软件 模拟 真实 的 人 硬件 来 响应 这 些 和 截获 的 请 求 ， 目 
前 MO 设备 的 虚拟 化 方式 主要 有 三 种 : 设备 接口 完全 模拟 、 前 端 /后 端 模 
拟 、 直 接 划分 。 


设备 接口 完全 模拟 


设备 接口 完全 模拟 即 软 件 精确 模拟 与 物理 设备 完全 一 样 的 接口 ，Guest 
OS 驱动 无 需 修改 残 能 驱动 这 个 虚拟 设备 。 优 点 是 没有 额外 的 便 件 开 
销 ， 可 重用 现 有 驱动 程序 ， 缺 点 是 为 完成 一 次 操作 要 涉及 多 个 寄存 器 的 
操作 ， 使 得 VMM 要 截获 每 个 寄存 器 访问 并 进行 相应 的 模拟 ， 导 致 多 次 
上 下 文 切换 ， 性 能 较 低 。 


前 端 /后 端 模 拟 


VMM 提 供 一 个 简化 的 驱动 程序 (后 端 ，Back-End) ，Guest OS 中 的 驱 
动 程序 为 前 端 (Front-End，FE) ， 前 端 驱 动 将 来 和 目 其 他 模块 的 请 求 通 

过 与 Guest OS 间 的 特殊 通信 机 制 直 接 发 送 给 Guest OS 的 后 端 驱动 ， 后 端 
驱动 在 处 理 完 请 求 后 再 发 回 通 知 给 前 端 (Xen 即 采用 该 方法 ) 。 优 点 是 
由 于 基于 事务 的 通信 机 制 ， 能 在 很 大 程度 上 减少 上 下 文 切换 开销 ， 没 有 
ds 缺点 是 需要 VMM 实 现 前 端 驱 动 ， 后 问 驱 动 可 能 成 为 

直接 划分 

直接 划分 即 直 接 将 物理 设备 分 配给 某 个 Guest OS， 由 Guest O05 直接 访问 
1O 设 备 ( 不 经 VMM) ， 目 前 与 此 相关 的 技术 有 AMD IOMMU、Intel 


VT-d、PCI-SIG 之 SR-IOV 等 ， 则 在 建立 高 效 的 /O 虚 拟 化 直通 道 。 优 点 
是 直接 访问 减少 了 虚拟 化 开销 ， 缺 点 是 需要 购买 额外 的 硬件 。 


5. 网 络 直通 VMDq 技 术 























在 虚拟 化 的 条 件 下 ， 网 络 访问 报 文 需要 从 软件 层 的 虚拟 网 卡 经 过 物理 网 
卡 才 能 发 出 。 由 于 软件 模拟 虚拟 网 卡 的 因素 会 造成 网 络 访问 时 延 的 增加 
为 了 解决 这 个 问题 ， 我 们 先后 及 展 出 VMDq 的 技术 和 SR-IOV 的 


在 虚拟 环境 中 ，Hypervisor 管 理 网 络 1/O 活 动 ， 随 着 平台 中 的 虚拟 机 和 传 
输 量 增加 ，Hypervisor 需 要 更 多 的 CPU 周 期 来 进行 数据 包 分 类 操作 ， 并 
需要 将 数据 回路 由 到 相应 的 虚拟 机 中 ， 这 些 操 作 会 因 对 CPU 的 占用 ， 而 
影响 上 层 应 用 软件 对 CPU 的 使 用 。Hypervisor 利 用 VMDq (Virtual 
Machine Device Queues， 虚 拟 机 设备 队列 ) 技术 ， 针 对 对 虚拟 机 网 络 性 
能 有 极 高 要 求 的 场景 ， 在 文 持 VMDdq 的 网 卡 上 ， 用 硬件 实现 Layer 2 分 类 / 
排序 器 ， 根 据 MAC 地 址 和 VLAN 信 息 将 数据 包 发 送 到 指定 的 网 卡 队列 
中 。 这 样 虚拟 机 收发 包 时 就 不 需要 DomO 的 参与 ， 这 种 模式 极 大 地 提升 
了 虚拟 化 网 络 效 率 。 


Intel VMDq 技 术 ， 是 专门 用 于 提升 网 卡 的 虚拟 化 LO 性 能 的 硬件 辅助 TO 
虚拟 化 技术 ， 主 要 解决 W/O 设 备 上 频繁 的 VMM 切 换 以 及 对 中 断 的 处 理 问 
题 ， 其 可 以 减轻 Hypervisor 的 负担 ， 同 时 提高 虚拟 化 平台 网 络 YO 性 能 。 


VMDdq 技 术 可 以 将 网 络 MO 管 理 负 担 从 Hypervisor 上 炙 载 掉 ， 多 个 队列 和 
蕊 片 中 的 分 类 智能 性 支持 虚拟 环境 中 增强 的 网 络 传输 流 ， 从 应 用 任务 中 
释放 人 处理 器 周期 ， 提 高 向 虚拟 机 的 数据 处 理 效率 及 整体 系统 性 能 。 
VMDd 为 虚拟 机 提供 接近 物理 机 的 网 络 通信 性 能 ， 兼 容 部 分 虚拟 化 高 级 
特性 ， 比 如 在 线 迁 移 、 虚 拟 机 快照 等 。 


6. 网 络 直通 SR-IOV 技 术 


与 VMDdq 类 似 ，SR-IOV 也 是 采用 类 直通 的 方式 来 避免 软件 层 对 于 网 络 转 
抖动 的 影响 ， 从 而 满足 电信 和 与 企业 关键 应 用 对 于 高 性 能 低 时 
延 的 要 求 。 


服务 器 虚拟 机 技术 是 通过 软件 模拟 多 个 网 络 适配器 的 方式 来 共享 一 个 物 
理 网 络 适配器 端口 ， 来 满足 虚拟 机 的 VO 需求 。 虚 拟 化 软件 在 多 个 层面 
控制 和 影响 虚拟 机 IO 操作 ， 因 此 导致 环境 中 出 现 瓶 颈 并 影响 UVO 性 能 。 
SR-IOV 是 一 种 不 需要 软件 模拟 就 可 以 共享 IO 设备 I 0 端口 的 物理 功能 
的 方法 ， 主 要 利用 iNIC 实 现 网 桥 生 载 虚拟 网 卡 ， 人 允许 将 物理 网 络 适 配器 
的 SR-IOV 虚 拟 功能 直接 分 配给 虚拟 机 ， 可 以 提高 网 络 吞 吐 量 ， 并 缩短 
网 络 延 迟 ， 同 时 减少 处 理 网 络 流量 所 需 的 主机 CPU 开销 。 








SR-IOV (Single Root IO Virtualization ) 是 PCI-SIG 推 出 的 一 项 标准 ， 是 
虚拟 通道 〈 在 物理 网 卡 上 对 上 层 软件 系统 虚拟 出 多 个 物理 通道 ， 每 个 通 
道具 备 独立 的 IO 功能 ) 的 一 个 技术 实现 ， 用 于 将 一 个 PCIe 设 备 虚 拟 成 
多 个 PCIe 设 备 ， 每 个 虚拟 PCIe 设 备 如 同 物理 PCIe 设 备 一 样 向 上 层 软件 提 
供 服 务 。 通 过 SR-IOV， 一 个 PCIe 设 备 不 仅 可 以 导出 多 个 PCI 物 理 功 能 ， 
还 可 以 导出 共享 该 TO 设备 上 的 资源 的 一 组 虚拟 功能 ， 每 个 虚拟 功能 都 
可 以 被 直接 分 配 到 一 个 虚拟 机 ， 能 够 让 网 络 传输 绕 过 软件 模拟 层 ， 直 接 
分 配 到 虚拟 机 ， 实 现 将 PCI 功 能 分 配 到 多 个 虚拟 接口 以 在 虚拟 化 环境 中 
共享 一 个 PCI 设 备 的 目的 ， 并 且 降 低 了 软件 模拟 层 中 的 MO 开销 ， 因 此 实 
现 了 接近 本 机 的 性 能 。 在 这 个 模型 中 ， 不 需要 任何 透 传 ， 因 为 虚拟 化 在 
终 病 设备 上 发 生 ， 人 允许 管理 程序 简单 地 将 虚拟 功能 映射 到 VM 上 以 实现 
本 机 设备 性 能 和 隔离 安全 。SR-IOV 虚 拟 出 的 通道 分 为 两 个 类 型 。 


” PF (Physical Function) 是 完整 的 PCIe 设 备 ， 包 含 了 全 面 的 管 
理 、 配 置 功能 ，Hypervisor 通 过 PF 来 管理 和 配置 网 卡 的 所 有 IO 资 
源 。 


” VF (Virtual Funciton) 是 一 个 简化 的 PCIe 设 备 ， 仅 仅 包 含 了 IO 
功能 ， 通 过 PF 衍 生 而 来 ， 好 像 物理 网 卡 便 件 资源 的 一 个 切片 。 对 于 
Hypervisor 来 说 ， 这 个 VEF 同 一 块 普通 的 PCIe 网 卡 一 模 一 样 ， 可 满足 
高 网 络 IO 应 用 要 求 ， 无 需 特别 安装 驱动 ， 且 可 以 实现 无 损 热 迁 
移 、 内 存 复 用 、 虚 拟 机 网 络 管控 等 虚拟 化 特性 。 





在 云 计 算 采 用 计算 虚拟 化 技术 实现 了 虚拟 机 的 模拟 和 虚拟 机 运行 实例 的 
隔离 需求 之 后 ， 更 重要 的 是 要 把 大 量 计 算 虚 拟 化 资源 组 合成 一 个 大 资源 
池 ， 用 来 满足 云 化 场景 下 资源 的 按 需 申请 和 资源 的 灵活 分 配 的 要 求 。 这 
就 引入 了 新 的 读 题 ， 即 如 何 将 虚拟 机 在 这 个 大 资源 池 【〈 和 包括 跨 地 域 场 
景 ) 进行 高 效 调度 。 








虚拟 机 是 弹性 计算 服务 的 资源 实体 ， 为 保证 在 虚拟 资源 池 中 对 虚拟 机 资 
源 的 灵活 分 配 ， 需 提供 在 资源 池内 的 虚拟 机 热 迁 移 能 力 ， 即 虚拟 机 在 不 
中 断 业 务 的 情况 下 实现 在 不 同 物理 机 上 的 迁移 。 虚 拟 机 迁移 时 ， 管 理 系 





统 会 在 迁移 的 目的 端 创建 该 虚拟 机 的 完整 镜像 ， 并 在 源 端 和 目的 问 进 行 
同步 。 同 步 的 内 容 包括 内 存 、 寄 存 嚣 状态、 堆栈 状 态 、 虚 拟 CPU 状 态 、 
存储 以 及 所 有 虚拟 硬件 的 动态 信息 。 在 迁移 过 程 中 ， 为 保证 内 存 的 同 

步 ， 虚 拟 机 管理 器 〈Hypervisor) 提供 了 内 存 数据 的 快速 复制 技术 ， 从 
而 保证 在 不 中 断 业 务 的 情况 下 将 虚拟 机 迁移 到 目标 主机 。 同 时 ， 通 过 共 
译 存储 ， 保 证 了 虚拟 机 迁移 前 后 持久 化 数据 不 变 。 


虚拟 机 热 迁移 的 作用 ， 具 体 如 下 。 


” 降低 客户 的 业务 运行 成 本 : 根据 时 间 段 的 不 同 ， 客 户 的 服务 器 
会 在 一 定时 间 内 处 于 相对 空闲 的 状态 ， 此 时 知 将 多 人 台 物 理 机 上 的 业 
务 迁 移 到 少量 或 者 一 台 物 理 机 上 运行 ， 而 将 没有 运行 业务 的 物理 机 
和 

















” 保证 客户 系统 的 高 可 靠 性 : 如 果菜 台 物 理 机 运行 状态 出 现 异 
常 ， 在 进一步 恶化 之 前 将 该 物理 机 上 运行 的 业务 迁移 到 正常 运行 的 
物理 机 上 ， 束 可 以 为 客户 提供 高 可 用 性 的 系统 。 

” 硬件 在 线 升级 : 当 客 户 需 要 对 物理 机 硬件 进行 升级 时 ， 可 先 将 
该 物理 机 上 的 所 有 虚拟 机 迁移 出 去 ， 之 后 对 物理 机 进行 升级 ， 升 级 
完成 再 将 所 有 虚拟 机 迁移 回来 ， 从 而 实现 在 不 中 断 业 务 运行 的 情况 
下 对 人 硬件 进行 升级 ， 保 证 服务 的 持续 可 用 性 。 


一 个 虚拟 化 系统 ， 至 少 需 要 在 下 列 场景 下 文 持 虚拟 机 热 迁 移 功能 : 





” 根据 需要 按照 迁移 目的 手动 把 虚拟 机 迁移 到 空闲 的 物理 服务 


局 


” 根据 资源 利用 情况 将 虚拟 机 批量 迁移 到 空 亲 的 物理 服务 器 。 


虚拟 机 应 用 于 电信 和 企业 关键 应 用 领域 ， 且 虚拟 网 元 在 人 硬件 平台 间 无 缝 
迁移 时 ， 面 临 切换 时 延 带 来 虚拟 机 内 部 业务 中 断 的 问题 ， 通 信和 领域 虚拟 
机 迁移 切换 时 间 确 保 在 1 秒 以 内 ， 同 时 电信 和 企业 关键 应 用 业务 压力 较 
大 ， 对 热 迁移 构成 挑战 。 一 般 可 以 采用 如 下 技术 提升 热 迁 移 的 效果 。 


混合 拷贝 热 和 了 迁移， 具体 如 下 。 


Precopy 和 了 Postcopy 按 需 目 适应 切换 ， 避 免 重 载 业 务 无 限制 迭代 
nm 


前 台 和 后 台数 据 传输 带宽 管控 ， 充 分 利用 带宽 完成 后 台 传 输 。 
” 识别 热点 内 存 ， 减 少 缺 页 概率 。 
RDMA/RoCE 热 迁移 加 速 的 具体 方法 如 下 : 
” 通过 RDMA 人 硬件 能 力 加 速 ， 提 升迁 移 效率 ; 
> 以 vMotion 与 RDMA 相 结合 的 方式 加 速 ; 


> 采用 RoCE 网 卡 直通 技术 ; 


” 在 Host 中 集成 RoCE 协 议 栈 ， 改 造 热 迁 移 等 服务 采用 的 协议 栈 。 





在 云 化 资源 池 的 环境 下 ， 虚 拟 机 的 负载 是 动态 变化 的 ， 因 此 计算 资源 池 
的 管理 系统 需要 实现 对 于 虚拟 机 部 著 位 置 的 自动 化 调整 ， 以 保障 虚拟 机 
能 够 获得 所 需要 的 资源 ， 同 时 也 保障 资源 池内 的 负载 是 均衡 的 ， 从 而 保 
隐 资 源 池 资源 的 高 效 利用 。 


实现 该 技术 的 方式 ， 通 常 称 为 动态 资源 调度 管理 ， 简 称 为 
DRS (Dynamic Resource Schedule) 。 


DRS 周 期 性 监控 集群 下 的 物理 主机 和 虚拟 机 负载 (CPU 和 内 存 ) ， 如 果 
主机 负载 的 不 均衡 度 ( 标 准 方 大 ) 超 过 集群 配置 的 阔 值 ， 则 触发 虚拟 机 
迁移 ， 使 得 集群 范围 内 的 负载 区 域 平 衡 。 作 为 DRS 的 扩展 功能 

DPM (Distributed Power Management， 分 布 式 电源 管理 ) 支持 在 集群 负 
载 低 〈CPU 和 内 存 负载 小 于 集群 配置 的 阀 值 ) 时 ， 主 动 对 某 些 主机 进行 
下 电 ， 达 到 节能 减 排 的 目的 ， 同 时 在 集群 负载 高 〈 负 载 大 于 集群 配置 的 
闷 值 时， 重新 启动 一 些 主机 ， 满 足 业 务 需 要 


以 下 是 DRS 的 几 种 基本 的 应 用 场景 。 











场景 1: 集群 内 主机 间 的 负载 不 均衡 ， 调 度 后 将 部 分 虚拟 机 从 负载 高 的 
主机 迁移 至 负载 低 的 主机 ， 达 到 负载 均衡 。 


场景 2: 集群 内 主机 间 的 负载 不 均衡 ， 负 和 载 也 较 低 ， 调 度 后 负载 达到 平 
衡 ， 同 时 对 经 过 评估 可 以 下 电 的 主机 (物理 主机 3〉 进行 下 电 。 


场景 3: 集群 内 主机 的 负载 均 很 高 ， 调 上 度 后 将 处 于 已 下 电 状 态 的 主机 
ee 迁移 至 负载 低 的 主机 上 ， 达 到 人 负 
载 均衡 。 


实现 DRS 和 DPM 的 调度 算法 很 多 ， 通 常 衡量 一 个 资源 池内 部 的 负载 不 平 
衡 的 程度 ， 可 以 采用 每 个 计算 服务 器 节点 的 负载 与 资源 池 平均 负载 差异 
值 的 标准 方差 来 衡量 。 差 值 越 大 ， 表 示 该 节点 与 资源 池 平 均 负 载 的 差异 
越 大 ， 越 需要 调整 其 负载 ， 以 保证 尽快 将 集群 的 负载 进行 均衡 。 


关于 进行 资源 平衡 调整 的 方法 ， 业 界 有 很 多 的 实现 方式 。 其 会 针对 不 同 
的 负载 波动 水 平 ， 不 同 的 业务 可 靠 性 要 求 ， 在 集群 负载 收集 的 时 间 和 门 
限 、 计 算 贡 点 负载 调整 的 门限 和 时 间 间 隅 等 处 理 上 进行 不 同 的 调整 。 比 
人 
调整 震荡 。 


通常 情况 下 ， 动 态 资源 调 整 主要 考虑 CPU 和 内 存 的 负载 变化 情况 ， 但 网 
络 和 存储 的 负载 在 面 对 电 信和 企业 关键 应 用 中 也 是 重要 的 且 必 须 考虑 的 
因素 ， 针 对 CPU/ 内 存 / 网 络 /存储 等 多 维 资源 的 负载 预测 可 以 采用 以 上 次 
似 算 法 。 


真正 进行 负载 调整 时 ， 进 行业 务 部 署 调整 的 原则 为 : 负载 方 兰 大 于 装 
值 ， 或 物理 机 利用 率 超 过 闵 值 。 


再 要 进行 部 署 位 置 调整 的 源 VM 选 择 原 则 为 : 选择 离 均值 最 远 的 物理 主 
机 之 上 的 “最 有 效 *VM《 即 迁移 后 使 该 物理 主机 的 负载 最 靠近 均值 ) 。 


人 
儿 。 




















通过 重复 步骤 计算 ， 直 到 方 兰 低 于 国 值 或 者 达到 VM 挝 移 次 数 限制 。 
需要 说 明 的 是 ， 对 于 虚拟 机 和 物理 机 的 负载 计算 方法 ， 动 态 能 耗 管理 的 


方法 实际 上 与 动态 资源 调度 管理 的 方法 是 一 致 的 ， 主 要 的 区 别 在 于 动态 
能 耗 管理 再 要 尽量 地 合并 物理 主机 上 的 虚拟 机 业务 ， 以 尽量 少 的 物理 机 
占用 达成 市 省 能 源 消 耗 的 目的 。 





在 云 计 算 的 条 件 下 ， 因 业务 运行 所 需要 的 资源 是 通过 软件 模拟 或 者 软件 
管理 分 配 的 方式 提供 的 ， 也 就 是 说 在 业务 运行 负载 和 物理 硬件 之 间 引 入 
了 Hypervisor 作 为 管理 层 ， 保 证 业务 运行 的 可 靠 性 。 


在 通过 虚拟 化 技术 保障 云 计 算 条 件 下 的 业务 运行 可 靠 性 方面 ， 当 前 业界 
发 展 出 来 的 技术 主要 有 以 下 两 种 : 中 基 于 冷 备 机 制 的 虚拟 化 HA 保护 ， 

这 种 方式 主要 提供 了 在 物理 硬件 故障 的 条 件 下 ， 选 择 资 源 池 中 的 其 他 健 
康 物理 主机 重新 部 嗜 虚 拟 机 ， 并 在 原 有 数据 不 丢失 的 条 件 下 ， 尽 快 恢复 
虚拟 机 业务 ; 凶 基 于 虚拟 机 热 备 机 制 的 虚拟 机 运行 态 镜像 元 余 方案 ， 这 
种 方式 主要 是 在 不 同 的 物理 主机 上 ， 提 供 虚 拟 机 业务 运行 的 镜像 元 余 ， 
在 一 台 物 理 主 机 发 生 故 障 的 时 候 ， 目 动 由 另外 一 台 主 机 上 的 虚拟 机 业务 
运行 镜像 接管 进行 业务 处 理 ， 从 而 保证 虚拟 机 的 业务 不 发 生 中 断 。 


上 述 两 种 方式 实现 的 技术 难度 和 工程 化 部 团 的 要 求 限制 不 一 样 。 其 中 冷 
备 机 制 实现 技术 难度 较 低 ， 对 工程 化 部 车 的 限制 和 要 求 较 少 ， 在 业界 得 
到 广泛 的 应 用 。 热 备 机 制 的 实现 难度 较 大 ， 同 时 ， 因 需要 提供 虚拟 机 运 
行业 务 镜像 元 余 ， 虚 拟 机 的 性 能 会 有 额外 的 占用 ， 同 时 也 需要 在 工程 化 
部 效 时 保证 虚拟 机 的 业务 组 网 能 够 在 切换 的 条 件 下 平滑 过 渡 ， 对 于 业务 
组 网 的 要 求 较 高 ， 所 以 现 阶段 的 应 用 还 处 于 逐步 走 问 成 熟 的 过 程 。 











4.3.1 基于 冷 | 的 虚拟 机 HA 











当 物 理 服务 器 宕 机 或 者 重启 时 ， 系 统 可 以 将 具有 HA 属性 的 故障 虚拟 机 
迁移 到 其 他 物理 服务 器 ， 保 证 虚拟 机 快速 恢复 。 


由 于 单个 集群 内 可 以 运行 上 千 个 虚拟 机 ， 当 某 个 或 茶 些 服务 器 宕 机 后 ， 
为 避免 大 量 虚 拟 机 迁移 造成 网 络 拥塞 和 目的 服务 器 过 载 ， 系 统 会 根据 网 
络 流量 、 目 的 服务 器 负 谷 选 择 将 虚拟 机 迁移 到 不 同 的 目的 服务 器 。 


当 VRM (Virtual Resource Manager， 虚 拟 资 源 管理 器 ) 与 物理 服务 器 上 
的 计算 代理 心跳 中 断 超过 30 秒 时 ， 会 触发 虚拟 机 HA， 当 一 个 虚拟 机 由 








运行 状态 突然 异种 消失 时 ， 也 会 触发 HA 在 其 他 正常 的 计算 节点 上 快速 
恢复 业务 。 


通过 存储 层面 的 锁 机 制 可 防止 同一 个 虚拟 机 实例 在 多 个 物理 机 器 上 同时 


日 人 。 


当 一 个 物理 服务 器 节点 掉 电 恢复 后 ， 业 务 进 程 开机 目 局 动 恢复 ， 之 前 运 
行 的 虚拟 机 全 部 故障 迁移 至 其 他 物理 节点 。 


4.3.2 基于 热 











在 虚拟 环境 下 设置 主 备 虚拟 机 ， 在 备 节 扣 上 创建 主 虚拟 机 的 完整 找 贝 。 
主 市 把 上 虚拟 机 的 CPU 状 态 、 内 存 、 人 磁盘 操作 、QEMU 等 与 备 节 点 虚拟 
机 保持 低 延 迟 的 定时 同步 。 备 节点 虚拟 机 定时 检测 主 节 点 虚拟 机 心跳 ， 
在 指定 时 间 内 收 不 到 心跳 即 认为 异常 肥 生 ， 备 虚拟 机 切换 到 正常 运行 状 
态 。 这 个 方案 的 优势 是 主 备 节点 可 以 保持 状态 完全 同步 ， 数 据 完全 一 

致 ， 缺 点 是 会 带 来 一 些 性 能 开销 。 





虚拟 机 的 本 质 束 是 通过 虚拟 化 拉 术 ， 将 一 台 物 理 服 务 器 虚拟 成 多 个 计算 
机 。 虚 拟 机 之 间 彼 此 相互 独立 ， 一 个 虚拟 机 故障 不 会 影响 其 他 虚拟 机 。 
用 户 对 虚拟 机 的 使 用 体验 和 对 传统 物理 机 的 体验 相同 。 


在 一 个 虚拟 机 内 的 任何 操作 ， 不 会 对 同一 全 物理 服务 器 上 的 其 他 虚拟 机 
和 虚拟 化 平台 自身 的 可 用 性 产生 危害 。 即 使 虚拟 机 的 运行 出 现 故 障 ， 比 
如 操作 系统 崩 沉 、 应 用 程序 错误 导致 死机 等 情况 ， 同 一 物理 服务 器 上 的 
虚拟 化 平台 以 及 其 他 虚拟 机 仍然 可 以 正常 运行 ， 继 续 为 用 户 提供 服务 。 








网 络 虚 拟 化 的 驱动 力 


服务 器 和 存储 虚拟 化 技术 的 迅猛 有 发展， 使 得 动态 快速 分 配 计算 资源 和 存 
储 资源 成 为 很 平 音 的 事 ， 从 而 大 大 缩短 了 创建 虚拟 服务 器 的 时 间 。 相 比 
之 下 ， 目 前 的 传统 网 络 架 构 明 显 落后 于 虚拟 化 的 要 求 ， 成 为 整个 资源 分 
配 注 程 中 的 短 板 ， 表 现在 如 下 方面 。 


> 传统 网 络 在 虚拟 化 场景 下 应 用 部 署 效率 低 : 在 很 多 情况 下 提供 
网 路 资源 需要 手工 配置 、 网 络 交 换 机 端口 配置 、ACL、 路 由 ， 等 
等 。 网 络 和 应 用 安全 策略 的 部 署 仍然 需要 手工 配置 ， 自 动 化 程度 很 
低 。 


-网 络 变更 困难 ， 每 次 人 工 配 置 都 需要 小 心性 避 ， 需 要 网 络 专家 
化 寓 大 量 的 时 间 来 连接 不 通 的 设备 ， 任 何 小 的 踊 忽 都 可 能 造成 网 络 
故障 。 应 用 的 部 车 也 不 得 不 拖延 几 天 、 几 周 甚 全 更 长 时 间 ， 直 到 网 
络 资源 最 终 准 备 好 了 为 止 。 


= 网 络 没 有 移动 性 : 网 络 的 配置 绑 定 于 硬件 。 网 络 配置 的 状态 明 
及 大 量 独立 的 网 络 设备 《物理 的 和 虚拟 的 ) 。 底 层 VLAN、 网 关 、 
防火 墙 等 物理 资源 的 部 署 限 制 了 计算 资源 的 部 著 与 自由 迁移 。 


























” 不 能 充分 利用 网 络 资 源 ， 大 多 数 公 司 能 利用 到 网 络 资源 的 30% 
一 40%， 很 多 情况 下 大 量 资源 内 置 ， 而 某 些 时 候 由 于 数据 量 周期 性 
的 猛 增 ， 双 造成 网 络 资 源 不 够 。 很 多 ISP 或 者 通讯 网 络 提供 两 们 很 
头痛 ， 在 用 户 基 本 收费 增长 不 大 的 情况 下 ， 用 户 期 望 的 数据 流量 却 
比 以 往 增 大 很 多 。 除 了 网 络 扩容 之 外 ， 更 重要 的 是 提高 目前 已 有 网 
络 的 利用 率 〈 见 图 5-1) 。 
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NIC CPU FW VLANSs 
计算 网 络 
HD RAM LB VRF 
| x86 | 包 转 发 | 


























图 5-1 ”网络 虚拟 化 与 服务 器 (计算 ) 虚拟 化 类 比 


对 网 络 虚拟 化 的 关键 需求 


(1) 与 物理 层 解 而: 网 络 虚 拟 化 的 目标 是 接管 所 有 的 网 络 服务 、 特 性 
和 应 用 的 虚拟 网 络 必要 的 配置 (VLANs、VRFs、 防 火 墙 规则 、 负 载 均 
衡 池 &VIPs、IPAM、 路 由 、 隔 离 、 多 租户 等 ) ， 从 复杂 的 物理 网 络 中 
抽取 出 简化 的 逻辑 网 络 设备 和 服务 ， 将 这 些 逻 辑 对 象 映射 给 分 布 式 虚拟 
化 层 ， 通 过 网 络 控制 器 和 云 管理 平台 的 接口 来 消费 这 些 虚 拟 网 络 服务 ， 
从 而 使 应 用 只 需 和 虚拟 化 网 络 层 打交道 ， 将 复杂 的 网 络 人 硬件 变 为 “ 隐 
士 ”， 不 给 IT 增加 烦恼 。 


(2) 网 络 服务 抽象 : 虚拟 网 络 层 可 以 提供 逻辑 端口 、 届 辑 交 换 机 和 路 
由 器 、 分 布 式 虚拟 防火 场 、 虚 拟 负载 均衡 器 等 ， 并 可 同时 确保 这 些 网 络 
设备 和 服务 的 监控 、QoS 和 安全 。 这 些 逻 辑 网 络 对 象 就 像 服 务 器 虚拟 化 
ee 
碟 拟 网 络 。 


(3) 网 络 按 需 目 动 化 : 通过 API 上 自动 化 部 着 ， 一 个 完整 的 、 功 能 丰富 的 
虚拟 网 络 可 以 自由 定义 任何 约束 在 物理 交换 基础 上 的 设施 功能 、 拓 扑 或 
资源 。 通 过 网 络 虚拟 化 ， 每 个 应 用 的 虚拟 网 络 和 安全 拓扑 就 拥有 了 移动 
性 ， 同 时 实现 了 和 流动 的 计算 层 绑 定 ， 并 且 可 通过 API 上 自动 部 车 ， 又 确 














保 了 和 专 有 物理 硬件 解 耦 。 


(4) 文 持 多 租户 网 络 安全 隔离 ， 计算 虚拟 化 使 多 种 业务 或 不 同 租户 资 
2 < 孚 同一 个 数据 中 心 资源 ， 但 其 同时 需要 为 多 租户 提供 安全 隔离 网 


5.2 _SDN 架 构 


解决 云 数据 中 心 网 络 问 题 存在 不 同 的 方式 ，SDN (Software-Defined 

Networking) 是 其 中 之 一 。SDN 并 不 是 具体 的 技术 ， 而 是 一 种 全 新 的 网 

络 设计 框架 ，SDN 的 核心 理念 是 改变 传统 网 络 对 数据 流 的 控制 方式 。 在 

传统 网 络 中 ， 网 络 末 用 分 布 式 控制 面 ， 报 文 从 源 到 目的 的 转发 行为 由 各 

个 网 络 节 点 自己 独立 控制 和 完成 ， 每 个 网 络 节 点 都 需要 独立 的 配置 。 

SDN 框 架 中 的 网 络 ， 控 制 面 与 转发 面 是 分 离 的 ， 转 发 面 与 具体 协议 无 天 
( 见 图 5-2、 图 5-3) 。 














API API API 


| 网 络 服务 | | 网络 服务 | 民 | 网络 服 务 | 
0 | 网 络 服务 | | 网 络 服务 || 网 络 服务 | 


控制 数据 平面 接口 
(例如 : OpenFlow) 


-Tp 4 1 坟 公 双 | 弘 0 信 
基础 设施 层 ” E 网 络 设 备 
络 设 各 





图 5-2” ”SDN 架构 








图 5-3” ”SDN 特点 与 价值 
(1) 控制 面 与 转发 面 分 离 : 控制 面 更 灵活 ， 转 发 面 抽象 与 标准 化 。 
人 


(3) 网 络 开放 可 编程 。 
(4) 网 络 业务 的 上 自动 化 应 用 程序 控制 。 


对 于 SDN 业 界 并 无 标准 的 理解 ， 具 体 含义 与 其 运行 的 网 络 领域 和 其 使 用 
的 策略 和 协议 相关 。 以 下 是 几 种 SDN 思 路 ， 如 图 5-4 所 示 。 


Open 


ing OpenFlow 网 络 革新 路 线 
i 控制 转发 分 离 技术 难度 高 ， 各 场景 适 配 复杂 
网 络 优化 路 线 
IETF DR 网 管 优化 、 提 高 自动 化 能 力 ， 但 
控制 面 开放 开放 不 足 ， 客户 开发 难度 大 
a 全 解 耦 路 线 
erly IT 新 思路 ， 当 前 主要 针对 DC 内 虚拟 
ee 区 化 场景 ， 缺 乏 统一 网 络 资源 管理 
网 络 设备 软化 路 线 
ETSI NFV， 网 络 功 能 虚拟 化 运营 商 新 思路 局 ， 部 优化 网 关 功 能 


通用 性 ， 关 键 在 标准 与 部 署 


图 5-4 SDN 路 线 
5.2.1 IETF 定 义 的 SDN 架 构 介 绍 


IETF 作 为 传统 网 络 架构 的 制定 者 ， 其 核心 思路 是 重用 当前 的 技术 而 不 是 
OpenFlow， 并 关注 重点 设备 控制 面 的 功能 与 开放 API。 


XML-based SDN (Software-Defined Networking) ， 使 用 Netconf 等 设备 
存在 的 接口 对 现 有 设备 进行 配置 ， 对 当前 设备 不 修改 〈 见 图 5-5) 。 





Policy Traffic 
controller Monitor 


Diameter Netflow | XML/Snmp/CLI 


现存 路 由 器 交换 机 





图 5-5 ”I2RS 与 其 他 现存 设备 接口 


IETF I2RS (Interface to Routing System: 路 由 系统 接口 ) 工作 组 希望 将 
路 由 协议 中 的 集 略 配置 运行 在 集中 的 控制 器 上 ， 控 制 器 通过 设备 反馈 的 
事件 、 路 径 拓 扑 和 网 络 流量 信息 来 动态 下 发 路 由 状态 、 策 略 到 设备 上 ， 


具体 的 路 由 计算 还 是 由 各 个 网 络 设备 分 布 式 完成 。 
5.2.2 ”ONE OpenElow 网 络 辑 校 











OpenFlow 起 源 于 斯 坦 福 大 学 的 Clean Slate 项 目 组 。 该 项 目的 最 终 目 的 是 
重新 发 明 互 联网 ， 旧 在 改变 设计 已 略 显 不 合 时 宜 ， 且 难以 进化 发 展 的 现 
有 网 络 基 础 架构 。 在 2006 年 ， 斯 坦 福 的 学 生 Martin Casado 领 导 了 一 个 关 
于 网 络 安全 与 管理 的 项 目 Ethane， 该 项 目 试图 通过 一 个 集中 式 的 控制 
器 ， 让 网 络 管理 员 可 以 方便 地 定义 基于 网 络 流 的 安全 控制 策略 ， 并 将 这 
些 安全 策略 应 用 到 各 种 网 络 设 备 中 ， 从 而 实现 对 整个 网 络 通 信 的 安全 控 
制 。 受 此 项 目 〈 及 Ethane 的 前 续 项 目 Sane) 启发 ，Martin 和 他 的 导师 
Nick MCcKeown 教 授 〈 时 任 Clean Slate 项 目的 Faculty Director) 发 现 ， 如 果 
将 Ethane 的 设计 更 一 般 化 ， 将 传统 网 络 设 备 的 数据 转发 (Data Plane) 和 
路 由 控制 (Control Plane) 两 个 功能 模块 相 分离 ， 通 过 集中 式 的 控制 恬 
《CController) 以 标准 化 的 接口 对 各 种 网 络 设备 进行 管理 和 配置 ， 那 么 这 
将 为 网 络 资源 的 设计 、 管 理 和 使 用 提供 更 多 的 可 能 性 ， 从 而 更 容易 推动 
网 络 的 章 新 与 有 发展。 于 是 ， 他 们 便 提出 了 OpenFlow 的 概念 ， 并 且 Nick 
McKeown 等 人 于 2008 年 在 ACM SIGCOMM (美国 计算 机 协会 数据 通信 
专业 组 会 议 ) 发 表 了 题 为 “OpenFlow: Enabling Innovation in Campus 
Networks” 的 论文 ， 首 次 详细 地 介绍 了 OpenFlow 的 概念 。 


SDN 的 设计 理念 是 将 网 络 的 控制 面 与 数据 转发 面 进行 分 离 ， 并 实现 可 编 
程 化 控制 。SDN 的 典型 架构 共 分 三 层 ， 最 上 层 为 应 用 层 ， 包 括 各 种 不 同 
的 业务 和 应 用 ; 中 间 的 控制 层 主 要 负责 处 理 数据 平面 资源 的 编排 ， 维 护 
网 络 拓扑 、 状 态 信 息 等 ， 在 OpenFlow 环 境 中 ， 控 制 器 会 使 用 OpenFlow 
协议 和 Netconf 协 议 与 交换 机 联系 〈OpenFlow 是 将 流 数据 发 送 到 交换 机 
的 API， 而 NETCONF 是 网 络 配置 APD)。 最 底层 的 基础 设施 层 负责 进行 基 
于 流 表 的 数据 处 理 、 转 发 和 状态 收集 〈 见 图 5-6) 。 


SDN 本 质 上 具有 “控制 和 转发 分 离 " “设备 资 源 虚 拟 化 "和 “通用 便 件 及 
软件 可 编程 ”三 大 特性 ， 这 带 来 了 一 系列 的 好 处 。 


第 一 ， 设 备 便 件 归 一 化 ， 便 件 只 关注 转发 和 存储 能 力 ， 与 业务 特性 解 
炳 ， 可 以 采用 相对 廉价 的 商用 架构 来 实现 。 



























增删 流 表 
。 设 置 获取 端口 状态 
。 报 文 Packet in/out 
(e.g. unmatched or specified) 








图 5-6 ”基于 OpenFlow 的 控制 与 转发 分 离 体 系 结构 


第 二 ， 网 络 的 智能 性 全 部 由 软件 实现 ， 网 络 设备 的 种 类 及 功能 由 软件 配 
来 完成 。 


第 三 ， 对 业务 啊 应 相对 更 快 ， 可 以 定制 各 种 网 络 参 数 ， 如 路 由 、 安 全 、 
策略 、QoS、 流 量 工程 等 ， 并 实时 配置 到 网 络 中 ， 开 通 具 体 业务 的 时 间 
将 缩短 。 


ONF SDN 的 三 大 要 素 ， 具 体 如 下 。 


(1) 转发 与 控制 分 离 ， 这 使 得 网 络 交 换 机 的 数据 转发 变 得 更 加 简单 、 
快速 ， 同 时 ， 控 制 变 成 了 网 络 操作 系统 中 一 个 相对 集中 的 逻辑 功能 。 


(2) OpenFlow 协 议 ， 它 问 交 换 机 传送 转发 表 ， 交 换 机 依 此 转发 报 文 。 
这 种 做 法 与 传统 网 络 完全 不 同 。 在 传统 网 络 以 构 中 ， 区 换 机 和 路 由 器 需 
要 目 己 决定 报 文 的 转发 路 径 ， 这 可 能 会 给 网 络 运营 丙 带 来 一 些 不 可 预知 
的 负面 影响 ， 包 括 成 本 增加 、 人 性 能 降低 、 上 市 时 间 延 缓 等 。 有 了 SDN， 
ee 使 得 运营 商 可 以 “随心 所 欲 地 控制 网 











(3) 具有 一 致 性 的 、 全 系统 范围 的 网 络 操作 系统 可 编程 接口 ， 它 能 让 
网 络 实现 真正 意义 上 的 可 编程 或 者 软件 定义 。 如 果 不 能 实现 转发 与 控制 
分 离 ， 那 么 几乎 所 有 SDN 所 能 带 来 的 好 处 都 无 法 体现 ， 如 果 能 实现 转发 
和 控制 分 离 ， 但 没有 OpenFlow 协 议 ， 那 么 就 需要 通过 其 他 途径 ， 将 所 
再 要 的 注重 表 信息 传闻 给 交换 机 。OpenFlow 就 是 实现 这 一 功能 的 行业 
示 准 。 


OpenFlow/SDN 吸 引 了 业界 越 来 越 多 的 关注 ， 成 为 近年 来 名 副 其 实 的 热 
门 技术 。 目 前 ， 包 括 HP、IBM、Cisco、NEC 以 及 国内 的 华为 和 中 兴 等 
在 内 的 传统 网 络 设备 制造 商都 已 纷纷 加 入 OpenFlow 的 阵营 ， 同 时 有 一 
些 支 持 OpenFlow 的 网 络 硬件 设备 已 经 面世 。2011 年 ， 开 放 网 络 基金 会 
(Open Networking Foundation) 在 Nick 等 人 的 推动 下 成 立 ， 专 门 负责 
OpenFlow 标 准 和 规范 的 维护 和 发 展 ; 同年 ， 第 一 届 开 放 网 络 峰 会 
(OpenNetworking Summit) 召开 ， 为 OpenFlow 和 SDN 在 学 术 界 和 工业 
界 都 做 了 很 好 的 介绍 和 推广 。2013 年 召开 的 第 二 届 峰 会 上 ， 来 自 Google 
的 Urs H6lzle 在 以 “OpenFlow@Google” 为 题 的 Keynote 演 讲 中 宣布 Google 
已 经 在 其 全 球 各 地 的 数据 中 心 骨 干 网 络 中 大 规模 地 使 用 OpenFlow/ 

SDN， 从 而 证 明了 OpenFlow 不 再 是 仅仅 停留 在 学 术 界 的 一 个 研究 模 

型 ， 而 是 已 经 完全 具备 了 可 以 在 产品 环境 中 应 用 的 技术 成 熟 度 。 最 近 ， 
Facebook 也 宣布 其 数据 中 心中 使 用 了 OpenFlow/SDN 的 技术 。 


5.2.3 ”OpenFlow 协 议 介绍 
自 2010 年 初 发 布 第 一 个 版 本 〈v1.0) 以 来 ，OpenFlow 规 范 已 经 经 历 了 
1.1、1.2、1.3、1.4 等 版 本 。 同 时 ，OpenFlow 管 理 和 配置 协议 也 发 布 了 
第 一 个 版 本 (OF-Config 1.0 &1.1) 。 
OF 规范 主要 分 为 如 下 四 大 部 分 。 


(1) OpenFlow 的 端口 〈Porb) 











OpenFlow 规 范 将 Switch 上 的 端口 分 为 三 种 类 别 : 
” 物理 端口 ， 即 设备 上 物理 可 见 的 端口 ; 


” 逻辑 端口 ， 在 物理 端口 基础 上 由 Switch 设备 抽象 出 来 的 馆 辑 端 
口 ， 如 为 tunnel 或 者 聚合 等 功能 而 实现 的 逻辑 端口 ; 


> OpenFlow 目 前 总 共 定 义 了 ALL、CONTROLLER、TABLE、 
IN_ PORT、ANY、LOCAL、NORMAL 和 FLOOD 这 8 种 端口 ， 其 中 
后 三 种 为 非 必需 的 端口 ， 只 在 混合 型 的 OpenFlow 
Switch (OpenFlow-hybrid ”Switch， 即 同时 支持 传统 网 络 协议 栈 和 
OpenFlow 协 议 的 Switch 设备 ， 相 对 于 OpenFlow-only Switch 而 言 ) 
中 存在 。 


(2) OpenFlow 的 FlowTable (国内 直译 为 “ 流 表 ”) 


OpenFlow 通 过 用 户 定义 的 或 者 预 设 的 规则 来 匹配 和 处 理 网 络 包 。 一 条 
OpenFlow 的 规则 由 匹配 域 (Match Fields) 、 优 先 级 〈Priority) 、 处 理 
指令 〈Instructions) 、 统 计数 据 《〈 如 Counters) 、 超 时 时 间 

CTimeout) 、 附 属 属性 〈Cookie) 等 字段 组 成 ， 如 图 5-7 所 示 。 








图 5-7 ”OpenFlow 规 则 


在 一 条 规则 中 ， 可 以 根据 网 络 包 在 L2、L3 或 者 L4 等 网 络 报 文 头 的 任意 
字段 进行 匹配 ， 比 如 以 太 网 帧 的 源 MAC 地 址 ，IP 包 的 协议 类 型 和 IP 地 
址 ， 或 者 TCP/UDP 的 端口 号 等 。 目 前 OpenFlow 的 规范 中 还 规定 了 Switch 
设备 厂商 可 以 选择 性 地 文 持 通配符 进行 匹配 。 据 说 ，OpenFlow 在 未 来 
还 计划 支持 对 整个 数据 包 的 任意 字段 进行 匹配 。 


所 有 OpenFlow 的 规则 都 被 组 织 在 不 同 的 FlowTable 中 ， 在 同一 个 
FlowTable 中 按 规 则 的 优先 级 进行 先后 匹配 。 一 个 OpenFlow 的 Switch 可 
以 包含 一 个 或 者 多 个 FlowTable， 从 0 依次 编写 排列 。OpenFlow 规 范 中 定 
义 了 流水 线 式 的 处 理 流 程 ， 如 图 5-8 所 示 。 当 数据 包 进 入 Switch 后 ， 必 须 
从 FlowTable 0 开始 依次 匹配 ;， FlowTable 可 以 按 次 序 从 小 到 大 越级 中 
转 ， 但 不 能 从 某 一 FlowTable 回 前 跳 转 至 编号 更 小 的 FlowTable。 当 数据 
包 成 功 匹 配 一 条 规则 后 ， 将 首先 更 新 该 规则 对 应 的 统计 数据 《〈 如 成 功 匹 
配 数 据 包 总 数目 和 总 字 节 数 等 ) ， 然 后 根据 规则 中 的 指令 进行 相应 操作 
一 ”比如 跳 转 至 后 续 某 一 FlowTable 继 续 处 理 ， 修 改 或 者 立即 执行 该 数 
据 包 对 应 的 Action Set 等 。 当 数据 包 已 经 处 于 最 后 一 个 FlowTable 时 ， 其 
对 应 的 Action S$et 中 的 所 有 Action 将 被 执行 ， 包 括 转发 至 某 一 端口 ， 修 改 
数据 包 某 一 字段 ， 丢 弃 数 据 包 等 。OpenFlow 规 范 中 对 目前 所 支持 的 
Instructions 和 Actions 进 行 了 完整 详细 的 说 明和 定义 。 
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图 5-8 ”OpenFlow 流 表 [ 匹 配 过 程 


另外 ，OpenFlow 规 范 中 还 定义 了 很 多 其 他 功能 和 行为 ， 比 如 OpenFlow 
对 于 QoS 的 支持 〈 即 MeterTable 和 Meter Bands 的 定义 等 ) ， 对 于 
GroupTable 的 定义 ， 以 及 规则 的 超时 处 理 等 。 


(3) OpenFlow 的 通信 通道 


OpenFlow 规 范 定 义 了 一 个 OpenFlow Switch 如 何 与 Controller 建 立 连 接 、 
通信 以 及 相关 消息 类 型 等 。 


OpenFlow 规 范 中 定义 了 三 种 消息 类 型 。 


ControllerSwitch 消 息 ， 是 指 由 Controller 发 起 、Switch 接 收 并 处 
理 的 消息 ， 主 要 包括 Features、Configuration、Modify-State、Read- 
State、Packet-out、Barrier 和 Role-Request 等 消息 。 这 些 消 息 主要 由 

Controller 用 来 对 Switch 进行 状态 查询 和 修改 配置 等 操作 。 





~ 异步 (Asynchronous) 消息 ， 是 由 Switch 发 送 给 Controller、 用 
来 通知 Switch 上 发 生 的 某 些 异步 事件 的 消息 ， 主 要 包括 Packet-in、 











Flow-Removed、Port-status 和 Error 等 。 例 如 ， 当 某 一 条 规则 因为 超 
时 而 被 删除 时 ，Switch 将 自动 发 送 一 条 Flow-Removed 消 息 通 知 
Controller， 以 方便 Controller 做 出 相应 的 操作 ， 如 重新 设置 相关 规 


则 等 。 


到 


对 称 〈Symmetric) 消息 ， 顾 名 思 义 ， 这 些 都 是 双 回 对 称 的 消 
轧 ， 主 要 用 来 建立 连接 、 检 测 对 方 是 否 在 线 等 ， 包 括 Hello、Echo 
和 Experimenter 三 种 消息 。 


图 5-9 ”展示 了 OpenFlow 和 Switch 之 间 一 次 典型 的 消息 交换 过 程 ， 出 于 
安全 和 高 可 用 性 等 方面 的 考虑 ，OpenFlow 的 规范 还 规定 了 如 何 为 
Controller 和 Switch 之 间 的 信道 加 密 、 如 何 建立 多 连接 等 〈 主 连接 和 辅助 
连接 ) 。 





Controller Switch 


ECHO 
ECHO 
FEATURES REQUEST 
FEATU RES REPLY 
SET_CONFIG 
FLOW MOD 
ECHO REQUEST 


ECHO REPLY 





图 5-9 ”控制 器 与 Switch 交互 过 程 


(4) OpenFlow 协 议 及 相关 数据 结构 





在 OpenFlow 规 范 的 最 后 一 部 分 ， 主 要 详细 定义 了 各 种 OpenFlow 消 恩 的 
数据 结构 ， 包 括 OpenFlow 消 息 的 消息 头等 。 


5.2.4 OF-Config 


OF-Config 是 OpenFlow 的 伴侣 协议 。OpenFlow 实 现 了 Flow 的 match-action 
相关 行为 ， 但 其 他 Flow 依 赖 的 资源 都 依赖 OF-Config 进 行 管理 ， 包 括 : 
配置 OpenFlow Controller 地址、 队列 和 物理 端口 、 逻 辑 端口 、 通 信 信 
道 、 交 换 机 能 力 发 现 等 。 对 转发 面 的 配置 与 管理 ， 也 有 定义 私有 协议 方 
案 ， 如 Open vSwitch 使 用 自 定义 的 OVSDB。 


5.2.5 ”ONF 及 OpenDavyLight 标 准 联盟 


开放 网 络 基 金 会 (ONF，Open Networking Foundation) 是 一 个 组 织 机 
构 ， 致 力 于 软件 定义 网 络 CSDN) 的 发 展 和 标准 化 。ONF 的 主要 任务 是 
培养 一 个 网 络 环境 ， 这 种 环境 能 够 支持 OpenFlow，OpenFlow 是 一 个 多 
许 服务 器 通知 交换 器 往 哪里 发 送 数 据 包 的 协议 。ONF 的 董事 会 成 员 包 括 
微软 、Google 和 Verizon。 普 通 会 员 有 几 十 个 ， 包 括 思 科 、 富 士 通 、 
IBM、NEC、 三 星 和 惠普 。 


2013 年 4 月 ，SDN 行 业 组 织 OpenDaylight 宣 告 成 立 。 其 成 员 包 括 Arista、 
Big Switch、 博 科 、 思 科 、 思 杰 、 戴 尔 、 爱 立信 、 富 士 通 、IBM、 喘 特 
尔 、 瞻 博 网 络 、 微 软 、 华 为 、NEC、Nuage Networks、PLUMgrid、 红 
帽 、VMware。 在 OpenDaylight 项 目 中 ， 网 络 行业 将 采取 相同 的 方案 研 
发 他 们 的 下 一 代 技 术 ， 整 体 情况 类 似 于 大 数据 领域 中 利用 Hadoop 或 市 有 
WebKit 的 Web 浏 览 器 进行 研发 一 样 。OpenDaylight 是 一 个 研发 实体 ， 未 
来 将 与 作为 标准 化 实体 的 ONF 形 成 互补 。 


OpenDaylight 是 一 套 以 社区 为 主导 的 开源 框架 ， 虽 在 推动 创新 实施 以 及 
软件 定义 网 络 〈 简 称 SDN) 透明 化 。 面 对 SDN 型 网 络 ， 大 家 需要 合适 的 
工具 帮助 自己 管理 基础 设施 ， 这 正 是 OpenDaylight 的 专长 。 作 为 项 目 核 
心 ，OpenDaylight 拥 有 一 套 模块 化 、 可 插 拔 且 极 为 灵活 的 控制 器 ， 这 使 
其 能 够 被 部 署 在 任何 文 持 Java 的 平台 之 上 。 这 款 控 制 器 中 还 包含 一 套 模 
块 合集 ， 能 够 执行 需要 快速 完成 的 网 络 任务 〈( 见 图 5-10〉。 
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图 5-10 OpenDaylight 功 能 逻辑 架构 


OpenDaylight 项 目 将 研发 一 系列 技术 ， 包 括 在 SDN 中 为 网 络 设备 提供 集 
中 控制 的 控制 器 。 该 控制 器 为 云 管理 工具 等 具有 网 络 感知 功能 的 应 用 、 
交换 机 和 其 他 网 络 中 的 硬件 提供 接口 。 该 项 目 还 将 创建 网 络 应 用 、 网 络 
虚拟 化 软件 和 其 他 组 件 。 


如 此 众多 的 重量 级 三 丙 走 到 一 起 ， 说 明 SDN 已 成 为 一 股 不 可 忽视 的 测 
洲 。 不 过 ， 显 而 易 见 的 问题 是 ， 种 种 不 同 的 技术 、 见 解 如 何 真 正 聚 合成 
一 个 切实 可 行 的 解决 方案 ， 面 临 的 困难 想来 不 少 。 因 此 ， 其 发 展 前 景 尚 











待 观 坚 。 这 些 重 量 级 / 商 汇 聚 在 一 起 ， 一 方面 堵 死 了 SDN 新 兴 企 业 的 友 
展 壮 大 之 路 ， 男 一 方面 也 形成 了 和 VMware 生 态 系 统 抗 衡 的 态势 。 





在 数据 中 心 网 络 中 , “区 域 ? 对 应 于 VLAN 的 划分 。 相 同 VLAN 内 的 终端 








属于 同一 广播 域 ， 具 有 一 致 的 VLAN-ID， 二 层 连通 ; 不同 VLAN 内 的 终 
端 需要 通过 网 关 互 相 访 问 ， 二 层 隔离 ， 三 层 连通 。 传 统 的 数据 中 心 主要 
是 依据 功能 进行 区 域 划 分 ， 例 如 Web、APP、DB、 办 公 区 、 业 务 区 、 内 
联 区 、 外 联 区 等 。 不 同 区 域 之 间 通 过 网 关 和 安全 设备 互 访 ， 保 证 不 同 区 
域 的 可 靠 性 、 安 全 性 。 同 时 ， 不 同 区 域 由 于 具有 不 同 的 功能 ， 因 此 需要 
相互 访问 数据 时 ， 只 需 终 端 之 间 能 够 通信 ， 并 不 一 定 要 求 通 信 双 方 处 于 
同一 VLAN 或 二 层 网 络 。 


传统 数据 中 心服 务 喜 网 络 设计 中 ， 通 党 将 二 层 网 络 的 范围 限制 在 网 络 接 
入 层 以 下 ， 避 免 出 现 大 范围 的 二 层 广播 域 。 虚 拟 机 迁移 技术 可 以 使 数据 
中 心 的 计算 资源 得 到 灵活 的 调配 ， 进 一 步 提高 虚拟 机 资源 的 利用 率 。 但 
是 虚拟 机 迁移 要 求 虚拟 机 迁移 前 后 的 P 和 MAC 地 址 不 变 ， 这 束 需 要 虚拟 
机 迁移 前 后 的 网 络 处 于 同一 个 层 域内 部 。 由 于 客户 要 求 虚 拟 机 迁移 的 范 
围 越 来 越 大 ， 甚 至 是 跨越 不 同 地 域 、 不 同 机 房 之 间 的 迁移 ， 这 使 得 数据 
ne 其 至 出 现 了 专业 的 大 二 层 网 络 这 一 新 领 
或 专题 。 


所 谓 “ 大 二 层 ” 是 指 所 有 VLAN 都 可 以 延展 到 所 有 汇聚 属 、 接 入 层 交 换 机 
的 VLAN 结 构 ， 这 与 传统 数据 中 心 VLAN 人 往往 终结 在 接 入 层 交 换 机 的 做 
法 不 同 。 大 二 层 网 络 结构 的 需求 是 由 如 下 原因 决定 的 。 


” 服务 器 虚拟 化 的 要 求 : 所 有 主流 服务 器 虚拟 化 技术 都 能 够 实现 
不 同 程度 的 虚拟 机 在 线 迁 移 ， 而 虚 机 迁移 前 后 其 MAC/IP 地 址 等 不 
变 ， 决 定 了 其 迁移 的 源 和 目的 应 在 同一 个 VLAN。 


-网络 业务 整合 的 需要 : 新 一 代数 据 中 心 网 络 要 求 比 传统 网 络 具 
有 更 高 的 业务 承载 能 力 ， 各 种 应 用 (比如 Oracle RAC 等 ) 等 需要 纯 
二 层 网 络 来 提供 其 业务 所 需 的 低 延 人 运 、 高 否 吐 、MAC 层 直接 交换 
的 网 络 环境 。 


” 智能 业务 整合 、 集 中 部 闭 的 需求 : 为 面 辐 范围 更 三 的 接 入 层 提 
供 智 能 服务 资源 池 ， 智 能 服务 被 要 求 集中 化 部 普 ， 这 就 需要 有 智能 
服务 要 求 的 VLAN 都 能 延展 到 智能 服务 设施 所 在 的 汇聚 层 。 


随 着 应 用 的 数量 迅猛 增加 ， 二 层 网 络 的 扩展 会 造成 传统 二 层 拉 术 在 链 路 
元 余 能 力 、 负 载 均衡 能 力 、 可 扩展 性 和 网 络 稳定 性 上 面 的 诸多 问题 。 























大 二 层 首先 需要 解决 的 是 数据 中 心 内 部 的 网 络 扩 展 问题 ， 要 通过 大 规模 
二 层 网 络 和 VLAN 延 伸 ， 实 现 虚 拟 机 在 数据 中 心 内 部 的 大 范围 迁移 。 由 
于 数据 中 心 内 的 大 二 层 网 络 部 要 窗 盖 多 个 接 入 交换 机 和 核心 交换 机 ， 因 
此 主要 有 以 下 两 类 技术 。 


基于 路 交换机 端口 捆绑 实现 大 二 层 网 络 


既然 二 层 网 络 的 核心 是 环 路 问题 ， 而 环 路 问题 是 随 着 了 风 余 设备 和 链 路 产 
生 的 ， 那 么 如 果 将 相互 元 余 的 两 合 或 多 全 设备、 两 条 或 多 条 链 路 合并 成 
一 台 设 备 和 一 条 链 路 ， 就 可 以 回 到 之 前 的 单 设备 、 单 链 路 情况 ， 环 路 目 
然 也 束 不 存在 了 。 无 其 是 交换 机 技术 的 有 发展， 虚拟 交换 机 从 低 问 合式 设 
备 到 高 端 框 式 设备 都 已 经 广泛 应 用 ， 有 具备 了 相当 的 成 熟 度 和 稳定 度 。 因 
此 ， 虚 拟 交 换 机 技术 成 为 目前 应 用 最 广 的 大 二 层 解决 方案 。 


虚拟 交换 机 技术 的 代表 是 华为 的 Stack、H3C 公 司 的 IRF、Cisco 公 司 的 

VSS。 其 特点 是 只 需要 交换 机 软件 升级 即 可 支持 交换 机 虚拟 机 ， 应 用 软 
件 成 本 低 ， 部 署 简 单 。 目 前 这 些 技术 都 是 各 厂 丙 独立 实现 和 完成 的 ， 只 
有 同一 厂商 的 相同 系列 产品 之 间 才 能 实施 虚拟 化 。 同 时 ， 由 于 高 端 框 式 
交换 机 的 性 能 、 密 度 越 来 越 高 ， 对 虚拟 交换 机 的 技术 要 求 也 越 来 越 高 ， 
目前 框 式 交换 机 的 虚拟 化 密度 最 高 为 4:1。 虚 拟 交 换 机 的 密度 限制 了 二 

层 网 络 的 规模 大 约 在 1 万 一 2 万 台 服 务 器 左右 。 


基 隧 道 技 术 


二 层 网 络 不 能 有 坏 路 ， 宛 余 链 路 必须 要 阻 暑 挥 ， 但 三 层 网 络 显 然 不 存在 
这 个 问题 ， 而 且 还 可 以 做 ECMP 《等 价 链 路 ) 。 通 过 在 二 层 报 文 前 插入 
额外 的 帧 头 ， 并 且 采 用 路 由 计算 的 方式 控制 整 网 数据 的 转发 ， 不 仅 可 以 
在 史 余 链 路 下 防止 广播 风暴 ， 而 且 可 以 做 ECMP。 这 样 可 以 在 保持 原 有 
二 层 网 络 配置 的 简洁 性 的 同时 ， 将 二 层 网 络 规模 扩展 到 整 张 网 络 ， 而 不 
会 受 核心 交换 机 数量 的 限制 〈 见 图 5-11) 。 












































下 RILINCampnu 


站 





RARRRANEARRE 











图 5-11 ” Trill 组 网 示意 图 


隧道 技术 的 代表 是 TRILL、SPB， 都 是 通过 借用 IS-IS 路 由 协议 的 计算 和 

转发 模式 ， 实 现 二 层 网 络 的 大 规模 扩展 。 这 些 技术 的 特点 是 可 以 构建 比 

虚拟 交换 机 技术 更 大 的 超大 规模 二 层 网 络 〈 应 用 于 大 规模 集群 计算 ) 。 

同时 传统 交换 机 不 仅 需 要 软件 升级 ， 还 需要 硬件 支持 。 虽 然 TRILL 成 功 

扩展 了 虚拟 机 资源 池 的 规模 ， 但 是 需要 在 核心 层 上 再 增加 一 层 设备 来 做 

Re 吉 构 变 得 复杂 ， 管 理 难 度 增 加 ， 网 络 建设 、 运 维 成 本 
0 


以 上 基于 各 厂家 私有 的 IRF/VPC 等 设备 级 的 (网络 N:1) 虚拟 化 技术 ， 虽 
然 可 以 简化 拓扑 、 具 备 高 可 靠 性 的 能 力 ， 但 是 对 于 网 络 有 强制 的 拓扑 形 
状 限制 ， 在 网 络 的 规模 和 灵活 性 上 有 所 欠缺 ， 只 适合 小 规模 网 络 构 建 ， 
且 一 般 适 用 于 数据 中 心 内 部 网 络 。 而 为 了 大 规模 网 络 扩展 而 产生 的 
TRILL/SPB/FabricPathMVPLS 等 技术 ， 虽 然 解决 了 上 述 技术 的 不 足 ， 但 
对 网 络 有 特殊 要 求 ， 即 网 络 中 的 设备 均 要 软 人 硬件 升级 而 支持 此 类 新 技 
术 ， 这 将 带 来 部 署 成 本 的 上 升 ， 并 且 还 存在 厂家 互通 问题 ， 多 数 用 在 新 
建 数据 中 心 场 景 。 























第 二 类 是 开 的 方案 一 一 软件 Overlay， 将 二 层 网 络 封装 后 在 三 层 范围 内 进 
行 扩 展 的 VxLAN 方 案 。 其 可 以 很 好 地 解决 虚拟 机 灵活 迁移 、 超 大 规模 


(16M) VLAN 的 问题 。 
以 服务 器 Overlay 琶 加 网 为 中 心 的 I 开 流派 代表 是 Google 和 微软 。 


Overlay 在 网 络 技术 领 域 ， 指 的 是 一 种 网 络 染 构 上 车 加 的 虚拟 化 技术 模 

式 ， 其 大 体 框架 是 对 基础 网 络 不 进行 大 规模 修改 的 条 件 下 ， 实 现 应 用 在 
网 络 上 的 承载 ， 并 能 与 其 他 网 络 业 务 分 离 ， 并 且 以 基于 IP 的 基础 网 络 技 
术 为 主 。Overlay 采 用 全 新 方式 的 解决 以 下 问题 。 


(1) 虚拟 机 迁移 范围 受到 网 络 架 构 限 制 


Overlay 是 一 种 封装 在 IP 报 文 之 上 的 新 的 数据 格式 ， 因 此 这 种 数据 可 以 通 
过 路 由 的 方式 在 网 络 中 分 发 ， 而 路 由 网 络 本 里 并 无 特殊 网 络 结构 限制 ， 
具备 民 性 大 规模 扩展 能 力 ， 并 且 对 设备 本 身 无 特殊 要 求 ， 以 高 性 能 路 由 
转发 为 佳 ， 且 路 由 网 络 本 映 具 备 很 强 的 故障 上 自 愈 能 力 、 负 载 均衡 能 力 。 
采用 Overlay 技 术 后 ， 企 业 部 署 的 现 有 网 络 便 可 用 于 文 撑 新 的 云 计 算 业 
务 ， 改 造 难度 极 低 〈 除 性 能 可 能 是 考量 因素 外 ， 技 术 上 对 于 承载 网 络 并 
无 新 的 要 求 ) 。 


(2) 虚拟 机 规模 受 网 络 规格 限制 


虚拟 机 数据 封装 在 卫 数 据 包 中 后 ， 对 网 络 只 表现 为 封装 后 的 网 络 参数 ， 
即 隧道 端点 的 地 址 ， 因 此 ， 对 于 承载 网 络 (特别 是 接 入 交换 机 〉， 
MAC 地 址 规格 需求 极 大 降低 ， 最 低 规格 也 就 是 几 十 个 (每 个 端口 一 台 
物理 服务 器 的 隧道 端点 MAC ) 。 


(3) 网 络 隔离 /分 离 能 力 限 制 


针对 VLAN 数 量 4000 以 内 的 限制 ， 在 Overlay 技 术 中 引入 了 类 似 12 比 特 
VLAN ID 的 用 户 标识 ， 文 持 干 万 级 以 上 的 用 户 标识 ， 并 且 在 Overlay 中 
沿袭 了 云 计算 “租户 ”的 概念 ， 称 之 为 Tenant ID (租户 标识 ) ， 用 24 或 64 
比特 表示 。 针 对 VLAN 技 术 下 网 络 的 TRUANK ALL (VLAN 穿 透 所 有 设 
备 ) 的 问题 ，Overlay 对 网 络 的 VLAN 配 置 无 要 求 ， 可 以 避免 网 络 本 身 的 
无 效 流量 带宽 痕 费 ， 同 时 Overlay 的 二 层 连 通 基 于 虚拟 主机 业务 需求 创 
建 ， 在 云 的 环境 中 全 局 可 控 。 


IETF 在 Overlay 技 术 领 域 有 如 下 三 大 技术 路 线 。 




















(1) VxLAN 


VxLAN 是 将 以 太 网 报 文 封装 在 UDP 传输 层 上 的 一 种 隧道 转发 模式 ， 目 
的 UDP 端口 号 为 4798;， 为 了 使 VxLAN 充 分 利用 承载 网 络 路 由 的 均衡 

性 ，VxLAN 将 原始 以 太 网 数据 头 (MAC、IP、 四 层 端口 号 等 ) 的 HASH 
值 作为 UDP 的 号 ; 采用 24 比 特 标识 二 层 网 络 分 段 ， 称 为 VNI (VxLAN 
Network Identifier) ， 类 似 于 VLAN ID 作 用 ; 未 知 目 的 、 广 播 、 组 播 等 
网 络 流量 均 被 封装 为 组 播 转发 ， 物 理 网 络 要 求 支持 任意 源 组 播 

(ASM) 


(2) NVGRE 


NVGRE 是 将 以 太 网 报 文 封装 在 GRE 内 的 一 种 隧道 转发 模式 ， 采 用 24 比 
特 标识 二 层 网 络 分 段 ， 称 为 VSI (Virtual Subnet Identifier) ， 类 似 于 
VLAN ID 作用 ; 为 了 使 NVGRE 利 用 承载 网 络 路 由 的 均衡 性 ，NVGRE 在 
GRE 扩 展 字 段 flow ID， 这 就 要 求 物 理 网 络 能 够 识别 出 GRE 隧 道 的 扩展 信 
息 ， 并 以 flow ID 进行 流量 分 担 ; 未 知 目 的 、 广 播 、 组 播 等 网 络 流量 均 被 
封装 为 组 播 转发 。 


(3) STT 


STT 利 用 了 TCP 的 数据 封装 形式 ， 但 改造 了 TCP 的 传输 机 制 ， 数 据 传输 
不 遵循 TCP 状 态 机 ， 而 是 全 新 定义 的 无 状态 机 制 ， 将 TCP 各 字段 意义 重 
新 定义 ， 无 需 三 次 握手 建 并 TCP 连 接 ， 因 此 称 为 无 状态 TCP; 以 太 网 数 
据 封 装 在 无 状态 TCP; 采用 64 比 特 Context ID 标识 二 层 网 络 分 段 ;， 为 了 
使 STT 充 分 利用 承载 网 络 路 由 的 均衡 性 ， 将 原始 以 太 网 数据 头 (MAC、 
IP、 四 层 端口 号 等 ) 的 HASH 值 作为 无 状态 TCP 的 源 端口 号 ;未 知 目 
的 、 广 播 、 组 播 等 网 络 流量 均 被 封装 为 组 播 转发 。 


这 三 种 二 层 Overlay 技 术 ， 大 体 思 路 均 是 将 以 太 网 报 文 承载 到 某 种 隧道 

层面 ， 差 异性 在 于 选择 和 构造 隧道 的 不 同 ， 而 底层 均 是 IP 转 发 。VxLAN 
和 STT 对 于 现 网 设备 对 流量 均衡 要 求 较 低 ， 即 负载 链 路 负载 分 担 适 应 性 
好 ， 一 般 的 网 络 设 备 都 能 对 L2~ 民 4 的 数据 内 容 参数 进行 链 路 聚合 或 等 

价 路 由 的 流量 均衡 ， 而 NVGRE 则 需要 网 络 设备 对 GRE 扩 展 头 感知 ， 并 

对 flow ID 进行 HASH， 并 且 需 要 人 硬件 升级 STT 对 于 TCP 有 较 大 修改 ， 

隧道 模式 接近 UDP 性 质 ， 隧 道 构造 技术 属于 革新 性 ， 且 复杂 度 较 高 ， 而 
VxLAN 利 用 了 现 有 通用 的 UDP 传输 ， 成 熟 性 极 高 。 总 体 比 较 ，VxLAN 
技术 相对 具有 优势 。 

















目前 的 虚拟 化 主机 软件 在 vSwitch 内 支持 VxLAN， 使 用 VTEP (VxLAN 
Tunnel End Point) 封装 和 终结 VxLAN 的 隧道 。 为 了 更 加 简化 VxLAN 
Overlay 网 络 的 运行 管理 ， 便 于 云 的 服务 提供 ， 各 厂家 使 用 集中 控制 的 
模型 ， 将 分 散在 多 个 物理 服务 器 上 的 vSwitch 构 成 一 个 大 型 的 、 虚 拟 化 
的 分 布 式 Overlay vSwitch。 只 要 在 分 布 式 vSwitch 范 围 内 ， 虚 拟 机 在 不 同 
物理 服务 器 上 迁移 ， 便 被 视 为 在 一 个 虚拟 的 设备 上 迁移 ， 如 此 大 大 降低 
了 云 中 资源 的 调度 难度 和 复杂 度 。 


为 了 解决 采用 Overlay 隧 道 后 的 广播 报 文 (ARP、DHCP 等 ) 和 单 播 MAC 
地 址 位 置 学 习 问 题 ， 业 界 采 用 了 一 些 创新 的 技术 手段 。 例 如 在 开源 
OpenStack 中 的 ML2 Plugin 采 用 12-Population 机 制 在 虚拟 机 创建 时 预 下 发 
本 子 网 的 所 有 虚拟 机 MAC 地 址 和 隧道 端点 信息 。 也 可 以 采用 SDN 控 制 








融 来 集中 代理 ARP/DHCP 报 文 ， 按 需 下 发 隧道 通信 使 用 的 流 表 。 





多 租户 的 计算 模式 是 云 计算 撤 术 架构 中 面 问 服 务 的 最 为 典型 的 应 用 模 
式 。 它 要 求 服务 需 计 算 环 境 ， 存 储 资 源 及 其 网 络 资源 的 设计 和 部 闭 必 须 
满足 自动化、 快速 性 、 动 态 性 、 移 动 性 、 安 全 性 和 面 问 商业 服务 等 需 
求 。 按 照 云 计 算 资源 虚拟 化 的 技术 要 求 ， 对 网 络 拓扑 和 链 路 进行 虚拟 
化 ， 并 对 网 络 资源 实现 按照 策略 的 隔离 和 共享 〈 见 图 5-12) 。 















A 地 VPC , 六 \、B 地 VPC 
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虚拟 路 由 器 


图 5-12 ”多 租户 网 络 





多 租户 网 络 必须 满足 虚拟 机 之 间 的 隔离 需求 


每 个 租户 拥有 虚拟 服务 器 资 源 池 中 的 一 个 虚拟 服务 器 或 一 组 虚拟 服务 
器 。 同 时 每 个 租户 都 必须 有 目 己 的 独立 的 网 络 链 路 ， 租 户 独 立 的 网 络 资 
源 包 括 以 下 几 个 方面 。 


” 独立 的 二 层 广 播 域 


传统 网 络 通常 使 用 VLAN 进 行 隔离 ， 为 每 个 租户 提供 一 组 VLAN 资 源 ， 

但 是 4K 的 VLAN 个 数 限制 了 网 络 规模 。 对 于 仅 使 用 独立 云 主 机 ， 对 网 络 
其 他 资源 无 特别 要 求 ( 例 如 IP 地 址 重 车 ) 的 应 用 ， 可 以 采用 ARP 代 答 的 
方式 消除 VLAN 网 络 中 不 同 租户 的 广播 。 同 时 支持 通过 租户 自 定义 的 安 
全 组 〈 一 组 ACL 规 则 ) 实现 不 同 租户 虚拟 机 间 的 4 层 安 全 隔离 ， 可 采用 
VxLAN/ NVGRE/STT 等 隧道 技术 来 突破 VLAN 规 格 限 制 。 








” 独立 的 IP 地 址 空间 


通常 的 做 法 是 为 每 个 租户 的 网 络 分 配 独立 的 虚拟 DHCP 服 务 器 来 实现 重 
登 的 耳 地址 分 配 。 


” 独立 的 虚拟 路 由 器 与 防火 墙 


当 有 了 独立 的 地 址 空间 后 ， 对 于 三 层 以 上 网 络 ， 需 为 每 个 租户 网 络 分 配 
独立 的 虚拟 路 由 器 和 防火 墙 。 使 用 传统 网 络 设备 如 物理 交换 机 、 物 理 防 
火 墙 ， 在 转发 面 可 使 用 VRF (Virutal Routing Forwading) 技术 实现 一 虚 
多 。 物 理 网 络 设备 虚拟 化 存在 配置 复杂 、 数 据 流量 迁 回 等 缺点 。 于 是 产 
生 了 对 网 络 设 备 NFV (Network Function Virtualization〉 的 需求 ， 对 于 路 
由 器 、 防 火场 、LB 等 网 络 节 点 ， 采 用 x86 虚 拟 机 或 裸 机 实现 ， 例 如 软件 
Vyatta 路 由 器 、VmwareEdge、Cisco VSG 等 。 


与 硬件 网 络 设备 相 比 ， 软 件 NFV 存 在 转发 性 能 和 时 延 方面 的 先天 不 足 。 
IT 流 派 采用 分 布 式 与 集群 技术 来 解决 单个 虚拟 化 网 络 设备 性 能 瓶 贷 问 

题 。 分 布 式 路 由 器 (Distributed Virtual Router) 技术 可 将 路 由 器 网 管 逻 
辑 部 署 在 每 个 服务 器 主机 节点 ， 采 用 本 地 或 集中 ARP 代 答 的 方式 支持 

ARP 报 文 。 可 以 在 分 布 式 路 由 器 中 动态 或 静态 添加 主机 路 由 ， 分 布 式 路 
由 器 实现 东西 向 报 文 的 路 由 与 卸载 。 对 于 南北 报 文 ， 可 支持 多 台 路 由 器 
作为 集群 ， 采 用 SDN 控 制 器 根据 流量 负载 和 设备 状态 动态 为 虚拟 机 选择 














出 口 路 由 器 。 分 布 式 防 火 墙 (Distribute ”Firewall) 将 在 每 个 物理 主机 
Hypervisor 层 部 署 防 火 载 功能， 采用 NameSpace 技 术 进 行 流 表 隔 离 ， 将 
安全 过 滤 分 布 在 每 个 节点 ， 同 时 通过 集中 的 安全 策略 简化 管理 负责 度 。 
弹性 负载 均衡 〈Elastic Load Balance) 技术 可 感知 网 络 负载 情况 ， 并 根 
据 负 载 状况 ， 动 态 申请 负载 均衡 虚拟 机 ， 与 DNS 结合 实现 弹性 伸缩 。 由 
于 不 是 每 个 NFV 设 备 都 可 支持 Overlay 隧 道 技术 ， 通 常 将 隧道 终结 在 
vSwitch 上 ，NFV 设 备 与 Overlay 网 络 的 对 接 需 要 通过 VLAN 到 VxLAN 
Mapping 来 实现 。 


多 租户 的 网 络 必须 是 策略 驱动 的 网 络 


每 个 租户 必须 和 云 服务 提供 商 签 署 网 络 服务 策略 ， 即 每 个 租户 有 自己 独 
立 的 网 络 集 略 部 团 方 案 。 云 计算 系统 如 OpenStack、CloudStack 均 实现 对 
网 络 资源 的 多 租户 标识 。 通 过 开放 的 API 接 口 ， 租 户 可 使 用 云 计算 系统 
提供 的 GUI 界面 或 调用 底层 API 实 现 自助 的 管理 网 络 策 略 与 配置 ， 包 括 
申请 子 网 、 定 义 IP 地 址 、 申 请 路 由 器 、 申 请 弹性 IP (公有 地 址 与 虚拟 机 
私有 地 址 的 NAT 映 射 》、 创 建安 全 组 、 定 义 负载 均衡 规则 、 定 义 防火 墙 
规则 、 定 义 VPN 规 则 等 。 


多 租户 的 网 络 必须 确保 每 个 租户 不 同 的 服务 质量 


在 多 租户 网 络 中 ， 每 个 租户 有 不 同 的 应 用 ， 所 以 云 服务 提供 商 必 须 确保 
每 个 租户 的 服务 质量 ， 即 服务 的 SLA。 如 对 带宽 的 保证 ， 在 流量 拥塞 的 
时 候 确保 最 低 带 宽 ， 避 免 拥 塞 等 。 所 以 在 多 租户 网 络 中 ， 每 个 用 户 的 
QoS 策略 及 其 流量 策略 非常 重要 。 多 租户 的 虚拟 网 络 接 口 可 按照 层次 关 
系 进行 如 下 的 设计 : vNIC (虚拟 机 〉 -vPort (虚拟 交换 机 ) 

>pNIC (网 卡 ) VIF (交换 机 /Router〉 -VIF (FirwalWLB) 。 其 通常 
在 如 下 节点 定义 Qos 策 略 : 





























~ ， 在 云 主 机 Hypervisor 层 定义 vNIC 收 /发 方向 的 Car、Shaping， 同 
时 文 持 基于 端口 或 流 对 报 文 进行 DSCP 标 签 ; 


” 考虑 通过 独立 的 网 卡 或 pNIC 保 证 管理 、 存 储 平面 带宽 需求 





” 在 数据 中 心 出 口 ， 对 租 己 的 虚拟 防火 墙 、 弹 性 IP、 负 载 均 衡 的 
帝 宽 进行 限制 。 





多 租户 网 络 必须 能 够 实现 租户 路 广域网 或 城 域 网 的 互联 
互通 


在 多 租户 网 络 中 ， 租 户 的 虚拟 服务 器 的 部 署 并 不 一 定 都 集中 在 一 个 数据 
中 心 ， 而 是 大 部 分 分 布 在 不 同 的 数据 中 心 ， 有 的 需要 跨越 城 域 网 其 至 广 
域 网 。 在 这 种 情况 下 ， 多 租户 网 络 必须 能 够 跨越 互联 网 实现 租户 的 互联 
互通 。 例 如 在 不 同 数据 中 心间 可 采用 NVGRE/” VxLAN 隧 道 实 现 跨 数 据 








中 心 的 二 层 互 通 ; 在 云 数据 中 心 与 租户 网 络 间 可 采用 IPSec-VPN、SSL- 
VPN、L2TP-VPN 实 现 互通 。 





SDN 提 供 了 智能 、 集 中 控制 的 全 局 优化 ， 应 用 驱动 ， 开 放 可 编程 ， 端 到 
端 QoS， 网 络 快速 修复 能 力 。 随 着 OpenFlow/SDN 概 念 的 发 展 和 推广 ， 
其 研究 和 应 用 领域 也 得 到 了 不 断 拓展 。 下 面 将 举 几 个 典型 的 研究 案例 来 
展示 OpenFlow 的 应 用 。 


基于 业务 和 应 用 驱动 的 SDN 网 络 管理 优化 


SDN/OpenFlow 提 供 了 一 个 简化 的 网 络 自动 化 配置 流程 。 系 统 具备 统一 
标准 的 数据 库 ， 所 有 设备 提供 基于 OpenFlow 和 Restful 的 接口 。 使 用 标准 
化 的 API 提 供 自动 化 的 服务 创建 过 程 ， 从 而 消除 了 使 用 CLI 和 其 他 人 工 
服务 的 创建 过 程 。 标 准 OpenFlow 也 消除 了 需要 分 别 使 用 厂商 定制 的 
EMS 来 逐个 配置 各 个 网 络 服 务 的 复杂 过 程 。 


网 络 虚 拟 化 (Slicing/Traffic Isolation ) 


网 络 虚 拟 化 需要 能 抽象 出 底层 网 络 的 物理 拓扑 ， 在 逻辑 上 对 网 络 资源 进 
行 分 片 或 者 整合 ， 从 而 满足 各 种 应 用 对 于 网 络 的 不 同 需求 。 虚 拟 网 络 也 
可 支持 IP 地 址 重 骆 ， 当 前 是 采用 VRF 进 行 隔 离 ， 但 是 VRF 难 于 配置 与 部 
署 。 为 了 达到 网 络 分 片 的 目的 ， 通 过 OpenFlow Controller， 其 可 以 看 做 
是 其 他 不 同 用 户 或 应 用 的 Controllers 与 网 络 设备 之 间 的 一 层 代 理 。 
此 ， 不 同 用 户 或 应 用 可 以 使 用 自己 的 Controllers 来 定义 不 同 的 网 络 拓 
扑 ， 同 时 又 可 以 保证 这 些 Controllers 之 间 能 够 互相 隔离 而 互 不 影响 。 


分 布 式 的 负载 均衡 














传统 的 负载 均衡 方案 一 般 需 要 在 服务 器 集群 的 入 口 处 ， 通 过 一 个 
gateway 或 者 router 来 监测 、 统 计 服 务 器 工作 负载 ， 并 据 此 动态 分 配 用 户 
请 求 到 负载 相对 较 轻 的 服务 器 上 。 既 然 网 络 中 所 有 的 网 络 设备 都 可 以 通 
过 OpenFlow 进 行 集中 式 的 控制 和 管理 ， 同 时 应 用 服务 器 的 负载 可 以 及 
时 地 反馈 到 OpenFlow 的 Controller，Controller 就 可 以 根据 这 些 实时 的 负 
载 信息 ， 重 新 定义 网 络 设 备 上 的 OpenFlow 规 则 ， 从 而 将 用 户 请 求 ( 即 
网 络 包 ) 按照 服务 器 的 能 力 进行 调整 和 分 发 。 


绿色 节能 的 网 络 服务 


在 数据 中 心 和 云 计 算 环 境 中 ， 如 何 降低 运营 成 本 是 一 个 重要 的 研究 诬 
题 。SDN 可 根据 工作 负荷 按 需 分 配 、 动 态 规划 ， 不 仅 可 以 提高 资源 的 利 
用 率 ， 还 可 以 在 网 络 负载 不 高 的 情况 下 选择 性 地 关闭 或 者 挂 起 部 分 网 络 
设备 ， 使 其 进入 节 电 模式 ， 达 到 市 能 环保 、 降 低 运 营 成 本 的 目的 。 


动态 插入 安全 与 策略 


使 用 SDN 实 现 自动 流量 导 流 ， 从 而 提供 防火 场 和 入 侵 检 测 系统 〈IDS ) 
服务 。 当 前 大 多 数 的 安全 策略 受到 VLAN 或 接口 的 限制 ， 并 且 使 用 静态 
的 配置 ， 无 法 感知 具体 应 用 上 下 文 信息 。 尽 管 可 通过 使 用 802.1.x 进 行动 
态 策略 与 身份 标识 管理 的 增强 ， 但 还 是 无 法 提供 足够 灵活 的 安全 策略 管 
理 能 力 。 在 SDN 环 境 中 ，SDN Controller 可 理解 流 的 上 下 文 信息 (用 
户 、 时 间 、 应 用 和 其 他 外 部 参数 ) ， 让 管理 员 可 以 配置 更 好 颗粒 度 的 策 
略 ， 并 应 用 到 交换 中 。 


SDN 网 络 中 ， 可 由 基于 OpenFlow 的 路 由 功能 ， 将 流量 引导 到 IP 服 务 (如 
防火 墙 和 IDS 中 ) 。SDN 控 制 器 和 IP 服 务 软 件 向 路 由 器 提供 路 由 和 配置 
命令 。 可 通过 SDN 智 能 化 路 由 ， 减 少 流入 IP 服 务 应 用 程序 的 流量 ， 从 而 
提高 网 络 的 利用 率 ， 降 低 VO 端 口 的 消耗 。 


广域网 络 虚 拟 化 


在 保护 现 有 的 L2/L3 VPN-IP 网 络 的 同时 ， 提 供 了 一 个 OpenFlow 车 加 到 跨 
数据 中 心 网 络 连接 中 。 


在 没有 实时 全 网 信息 时 ， 按 照 局 部 FIB 信 息 的 最 短路 径 会 导致 大 量 数据 
被 引导 到 某 些 路 径 ， 导 致 网 络 在 菜 些 地 段 阻 塞 。 基 于 OpenFlow 的 
Overlay 网 络 和 广域网 SDN 控 制 器 被 添加 a 到 现 有 的 生产 网 络 。OpenFlow 























并 不 影响 传统 的 流量 和 基于 人 硬件 提供 的 防护 能 力 。 使 用 Hybrid 冰 口 模 
式 ， 降 低 初 始 部 普 风 险 ， 以 持续 逐步 增加 OpenFlow 禾 善 服务 。 由 于 
SDN 处 理 不 断 增 加 的 流量 ， 共 享 网 络 容 量 的 增加 会 减少 。SDN 提 供 更 好 
的 网 络 使 用 情况 的 可 见 性 和 路 由 的 灵活 性 ， 以 达到 更 高 的 利用 率 水 平 ， 
例如 Google 在 使 用 SDN/Openflow 以 前 ， 网 络 的 使 用 率 在 30% 左 右 ， 而 采 
用 SDN/Openflow 后 ， 网 络 利 用 率 提 高 到 90% 以 上 。 





与 计算 虚拟 化 相 比 ， 网 络 虚拟 化 以 及 网 络 云 化 的 历史 并 不 算 久 ， 世 界 各 
地 大 规模 商用 的 案例 比较 少 。 但 现 阶段 小 规模 的 ， 以 虚拟 交换 机 、 分 布 
式 虚 拟 交 换 机 、 虚 拟 路 由 器 、 虚 拟 防火 墙 、 虚 拟 负载 均衡 器 为 代表 的 ， 
运行 在 私有 云 内 的 网 络 虚拟 化 商用 案例 还 是 比较 多 的 。 丙 用 网 络 虚拟 化 
案例 的 最 大 特点 是 ， 对 现 有 网 络 便 件 设备 基本 没有 改动 ， 而 是 通过 服务 
名 虚拟 化 层 运行 的 虚拟 化 与 云 计算 软件 完成 网 络 虚拟 化 功能 。 这 种 数据 
中 心 私 有 云 内 部 的 网 络 虚拟 化 会 随 着 企业 私有 云 建 设 而 变 得 普 这 化， 由 
于 对 现 有 网 络 硬件 要 求 不 高 ， 其 推广 阻力 也 很 小 。 


大 部 分 企业 数据 中 心 规模 并 不 大 ， 网 络 结构 也 不 是 很 复杂 ， 网 络 设备 规 
模 庞 大 且 结 构 复 杂 的 当 数 电信 运营 商 了 《还 有 少量 超大 型 企业 ， 特 别 是 
超大 型 互联 网 企业 ) 。 网 络 何 时 走 同 彻 抵 云 化 ， 或 者 说 网 络 云 何 时 普遍 
商用 ， 主 要 要 看 电信 运营 商 、 网 络 设 备 供应 两 、I 工 系统 供应 商 之 间 的 互 
动 博 弈 。 电 信和 运营 商 无 疑 希 望 大 幅 降低 网 络 设备 采购 成 本 与 运营 管理 复 
杂 上 度 ， 这 样 可 提升 自动 化 与 弹性 的 配置 管理 能 力 ， 增 强 万 利 能 力 ， 而 网 
络 设备 供应 商 期 望 赚 取 更 多 的 利润 。 供 需 双 方 本 身 就 存在 这 个 矛盾 。 谁 
有 网 络 控制 权 谁 就 有 话语 权 ， 而 网 络 云 化 的 一 个 重要 手段 就 是 让 网 络 设 
备 把 控制 权 交 出 来 〈 交 给 IT 系统 ) ， 传 统 网 络 设备 供应 商 肯定 是 不 情愿 
的 。 但 不 情愿 也 没有 太 好 的 办 法 ， 网 络 设备 是 可 以 蔡 换 的 ， 而 且 广 商 众 
多 ， 为 了 生存 ， 只 能 全 力 竞 争 。 运 章 商 一 旦 认 准 基于 云 计算 的 开放 网 络 
架构 这 个 大 方向 ， 天 平 是 会 癌 需 方 倾斜 的 。 只 要 运营 商 从 成 略 运营 上 开 
始 有 动作 ， 网 络 云 化 的 时 间 表 融会 被 排 得 非常 紧密 ， 短 则 一 两 年 ， 长 则 
不 超过 三 五 年 。 运 营 商 的 网 络 云 化 ， 实 际 意味 大 全球 骨干 网 络 云 化 ， 那 





















































么 作为 网 络 的 末梢 市 点 一 一 企业 内 部 数据 中 心 网 络 ， 则 会 跟随 这 个 大 趋 
势 快速 云 化 。 


网 络 云 化 ， 可 能 改变 不 了 传统 电信 运营 商 “ 数 据 物 流 商 ” 的 角色 ， 但 可 以 
大 幅 压 低 “ 数 据 物 流 ” 的 成 本 。 这 与 实体 物流 行业 很 类 似 ，10 年 前 最 头疼 











的 事情 是 网 购 省 下 的 钱 都 被 快递 费用 占 去 了 ， 而 今天 不 仅 很 多 网 购 免 运 
费 了 ， 而 且 由 7 天 送 达 ， 缩 短 到 24 小 时 、4 个 小 时 、2 个 小 时 ， 甚 至 送 达 
时 间 以 分 钟 计算 。 未 来 (可 能 5~10 年 ) ， 电 信 运 营 商 可 能 只 需要 向 租 
用 网 络 宽带 出 口 的 企业 (包含 互联 网 企业 ) 单 向 收费 ， 而 面向 普通 个 人 
则 免费 (或 准 免费 ) 泛 在 接 入 ， 即 可 实现 产业 繁荣 (以 运营 丙 间 能 够 实 
现 充 分 竞争 为 前 提 ) 。 











6.1 云 计算 的 存储 虚拟 化 概述 





企业 级 存储 中 使 用 的 传统 SAN、NAS 设 备 ， 在 云 计算 中 面临 了 很 多 的 问 


题 ， 主 要 问题 如 下 。 

(1) 存储 弹性 问题 
企业 级 存储 无 法 满足 多 业务 不 同 负载 、 动 态 的 资源 变化 需求 ， 在 不 同 租 
户 和 不 同 应 用 对 资源 有 不 同 要 求 的 时 候 ， 很 难 方便 地 做 出 调整 ， 包 括 性 
能 和 容量 资源 的 弹性 调配 ， 而 云 计 算 中 多 租户 多 业务 负载 下 资源 的 弹性 
古 极其 重要 的 核心 要 素 。 

(2) 存储 扩展 问题 
传统 存储 的 扩展 性 面临 了 多 个 瓶颈 ， 如 机 头 、 前 后 问 网 络 、 磁 盘 与 
CPU/MEM 资 源 不 同步 扩展 等 ， 都 是 传统 存储 无 法 做 到 线性 扩展 的 几 个 
关键 因素 。 

(3) 形态 和 实施 的 成 本 、 复 杂 性 问题 
传统 存储 在 部 车 的 时 候 ， 需 要 独立 的 存储 网 络 ， 用 于 多 主机 互联 ， 特 别 
是 针对 性 能 较 遍 的 FC 网 络 ， 在 实施 的 时 候 成 本 较 高 、 组 网 实施 复杂 ， 
不 利于 大 规模 集群 的 简化 部 著 实 施 。 

(4) 大 规模 集群 下 的 容错 和 可 靠 性 问题 
在 规模 很 大 的 云 计 算 环 境 下 ， 需 要 具备 跨 机 房 、 跨 机 柜 、 跨 服务 器 的 数 
据 保 护 机 制 ， 即 使 在 机 柜 故 障 等 场景 下 ， 数 据 仍然 不 丢失 ， 仍 然 可 访 
问 。 


(5) 灵活 的 软件 定义 末 略 问题 




















在 云 计算 环境 下 ， 不 同 的 租户 、 不 同 的 业务 应 用 对 存储 有 着 不 同 的 要 
求 ， 需 要 底层 存储 具备 灵活 的 软件 定义 策略 支持 ， 人 允许 用 户 按 需 进 行 存 
储 的 策略 配置 (如 定义 多 大 的 容量 、 多 少 IOPS、 多 大 的 SSD Cache 组 
存 、 什 么 样 的 数据 元 余 和 可 靠 性 要 求 等 ) ， 底 层 存储 可 以 根据 这 些 软件 
定义 策略 进行 资源 的 调配 ， 按 需 目 动 地 满足 上 层 业 务 和 应 用 的 需求 。 


云 计算 的 存储 虚拟 化 概述 如 图 6-1 所 示 ， 其 中 包含 了 传统 存储 的 虚拟 
化 、 分 布 式 存储 的 池 化 和 加 速 以 及 软件 定义 的 存储 策略 控制 三 个 部 分 。 
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攻 A < 软件 定义 存储 策略 控制 | 
OpenSuack 
按 策略 分 本 展 ， 效 据 保护 服务 ， 
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6.2” 姑 活 对 | 
虚拟 化 、 云 计算 时 代 ， 应 用 对 于 存储 有 了 新 的 需求 : 





” 希望 存储 系统 能 够 简化 管理 ， 兼 容 不 同 的 存储 设备 ， 快 速 获 取 
存储 资源 ; 

”~ 能够 基于 策略 驱动 ， 利 用 虚拟 机 粒度 的 存储 策略 ， 保 证 服务 质 
量 (QoS ) ; 





” 希望 新 的 存储 方案 具有 高 性 价 比 ， 提 供 低 成 本 、 高 性 能 的 存储 
解决 方案 ; 











” 存储 系统 需要 具备 高 可 扩展 性 ， 实 现 系统 规模 动态 扩展 。 


传统 存储 虚拟 化 技术 有 各 目的 缺陷 : 基于 网 络 的 存储 虚拟 化 技术 增加 了 
人 硬件 成 本 ， 系 统 扩 展 性 差 ， 存 在 性 能 损耗 ; 基于 存储 设备 的 虚拟 化 技术 
的 寞 构 兼 容 能 力 弱 ， 快 照 、 瘦 分 配 有 较 大 的 损耗 性 能 ， 基 于 主机 的 存储 
虚拟 化 技术 一 般 采 用 主机 侧 SSD 缓 存 加 速 技 术 ， 但 这 个 技术 与 阵列 联动 
困难 ， 快 照 回 滚存 在 一 致 性 问题 ， 没 有 虚拟 化 能 力 ， 而 且 这 三 种 技术 都 
无 法 实现 细 粒 度 的 集 略 。 在 这 种 情况 下 ， 一 种 新 的 存储 虚拟 化 技术 一 一 
软件 定义 存储 的 解决 方案 应 运 而 生 。 


软件 定义 存储 的 需求 模型 如 图 6-2 所 示 。 
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图 6-2 软件 定义 存储 需求 模型 
从 租户 视角 来 看 ， 其 典型 操作 包括 : 


” 根据 服务 目录 操作 高 级 服务 ; 
” 查询 卷 、 文 件 、 对 象 存储 的 容量 ; 
” 卷 、 文 件 、 对 象 存储 的 增删 改 查 ; 


”~ 主机 挂 载 、 彼 载 卷 和 文件 目录 。 
从 管理 员 视角 来 看 ， 其 典型 操作 包括 : 
”~ 查询 TOPO 接 连 关系 ; 
”分配 物理 设备 到 租户 视角 的 Cell 以 及 Zone:; 
> 分 配 物理 空间 给 数据 池 ; 
” 存储 设备 与 数据 池 OM 





” 主机 安装 Agenti 

服务 目录 管理 ; 

” 租户 权限 管理 。 
在 功能 上 上， 软件 定义 存储 对 租户 屏蔽 物理 存储 设备 、 对 管理 员 提供 将 物 
理 设备 映射 到 逻辑 概念 的 手段 。 在 架构 上 ， 对 上 提供 补充 存储 类 服务 操 
作 到 数据 中 心服 务 目录 ， 对 下 集成 设备 管理 信息 。 
IDC 给 出 软件 定义 存储 〈SDS) 的 定义 : 可 以 安装 在 商用 资源 〈x86 硬 
件 、 虚 拟 机 监控 程序 或 者 云 ) 和 /或 现 有 计算 硬件 上 的 任何 存储 软件 堆 
栈 。 上 此外， 为 了 取得 资格 ， 基 于 软件 的 存储 堆栈 应 该 提供 一 套 完 整 的 存 
储 服务 ， 以 及 在 基础 的 持续 数据 配置 资源 之 间 的 联邦 ， 这 使 其 租户 的 数 
据 可 以 在 这 些 资源 之 间 流 动 。 
软件 定义 存储 有 以 下 的 价值 。 


” 完全 通过 软件 实现 存储 的 高 级 特性 ， 快照 、 元 隆 、 瘦 分 配 、 局 
速 绥 存 等 都 不 依赖 于 存储 设备 。 


” 打上 略 驱 动 的 设计 :传统 存储 无 法 与 应 用 配合 ， 性 能 低下 ， 基 于 
打上 略 的 存储 ， 能 够 为 不 同 的 应 用 提供 不 同 的 QoS。 


” 简化 存储 管理 ， 可 以 实现 一 次 配置 ， 多 次 使 用 ， 计 算 管 理 员 只 























需 在 系统 初始 配置 或 者 扩容 时 需要 存储 管理 员 的 参与 ， 后 续 应 用 需 
要 存储 资源 时 ， 能 够 做 到 即时 分 配 。 


> 高 性 价 比 


。 性 能 : Cache+ 低 站 存储 > 局 端 存储 。 
。 成 本 : Cache+ 低 站 存储 < 高 端 存 储 。 
。 可 以 利 旧 。 


6.3 诸 SAININAS 的 庶 北 


当 仅 需 要 单个 主机 服务 器 〈 或 单个 集群 ) 访问 多 个 磁盘 阵列 时 ， 可 以 使 
用 基于 主机 的 存储 虚拟 化 技术 。 该 技术 又 称 为 逻辑 卷 管 理 ， 通 香 由 主机 
操作 系统 下 的 逻辑 卷 管理 软件 实现 。 逻 辑 卷 管理 软件 把 多 个 不 同 的 物理 
磁盘 映射 成 一 个 虚拟 的 逻辑 块 空间 。 当 存储 需求 增加 时 ， 逻 辑 管 理 软件 
能 把 部 分 逻辑 空间 映射 到 新 增 的 磁盘 阵列 ， 因 此 可 以 在 不 中 断 运 行 的 情 
况 下 增加 或 减少 物理 存储 设备 。 


基于 主机 的 存储 虚拟 化 示意 图 如 图 6-3 所 示 。 
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图 6-3 ”基于 主机 的 存储 虚拟 化 





主机 1 可 以 使 用 磁盘 阵列 1 和 阵列 2 上 的 存储 空间 ， 主 机 2 可 以 使 用 磁盘 阵 
列 2 上 的 存储 空间 ， 主 机 3 和 主机 4 均 可 使 用 磁盘 阵列 3 和 阵列 4 上 的 存储 


空间 。 


该 技术 使 主机 经 过 虚拟 化 的 存储 空间 路 越 多 个 异 构 的 磁盘 阵列 ， 因 此 御 
用 于 在 不 同 磁盘 阵列 之 间 做 数据 镜像 保护 。 


该 技术 的 优点 : 
” 文 持 腊 构 的 存储 系统 ; 
” 容易 实现 ， 不 需要 额外 的 特殊 硬件 ; 
” 开销 低 ， 不 需要 人 硬件 文 持 ， 不 修改 现 有 系统 架构 。 
该 技术 的 缺点 : 
” 占用 主机 资源 ， 降 低 应 用 性 能 ; 
” 存在 操作 系统 和 应 用 的 兼容 性 问题 ; 
” 导致 主机 升级 、 维 护 、 扩 展 复杂 ， 容 易 造 成 系统 不 稳定 ; 
” 需要 复杂 的 数据 迁移 过 程 ， 影 响 业 务 连 续 性 。 


如 果 仅 针对 传统 中 低 端 存储 设备 整合 的 软件 定义 存储 方案 ， 其 架构 要 
单 很 多 ， 架 构 框 架 如 图 6-4 所 示 。 
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图 6-4 中 低 端 存储 整合 软件 定义 存储 系统 框架 


中 低 端 存储 的 存储 性 能 差 ，LUN 数 量 有 限 ， 无 NVRAM、SSD 加 速 ， 无 
快照 /克隆 ， 瘦 分 配 等 功能 ， 可 通过 主机 侧 的 Flash 人 硬件 和 软件 定义 存储 
软件 能 力 ， 整 合 现 有 中 低 端 SAN、NAS 等 存储 资源 ， 提 供 性 能 高 、 功 能 
强 的 软件 定义 存储 解决 方案 。 


面 加 中 低 端 存储 整合 的 软件 定义 存储 系统 主要 是 一 套 存 储 虚 拟 化 软件 ， 
运行 在 Host OS 上 ， 和 它 具 有 强大 的 开 构 能 力 ， 底 层 能 够 兼容 块 、 文 件 或 
者 对 象 。 软 件 定 义 存储 系统 具备 线性 扩展 能 力 ， 具 有 高 速 的 分 布 式 Flash 
Cache， 能 够 实现 性 能 无 损 的 快照 和 瘦 分 配 ， 能 够 实现 VM 粒度 的 策略 驱 
动 ， 拥 有 丰富 的 对 外 接口 ， 能 够 对 外 提供 块 、 文 件 或 对 象 接口 。 系 统 主 
要 提供 卷 管理 服务 、IO 服 务 、 元 数据 服务 。 各 种 服务 可 以 融合 部 闭 ， 
也 可 分 离 部 着。 软件 定义 存储 的 软件 逻辑 如 图 6-5 所 示 。 
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6.4 ”分布 式 存 作 


6.4.1 分 布 式 存储 概述 
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对 象 存 储 


; 加速 


随 痢 企业 面临 的 竞争 环境 越 来 越 激 烈 、 新 业务 上 线 时 间 要 求 越 来 越 短 ， 
其 IT 系 统 需 要 从 传统 的 成 本 中 心 转变 为 提升 企业 苋 争 力 的 利器 ， 欠 助 企 


业 提 升 范 争 力 并 实现 商业 成 功 。 
但 要 满足 业务 所 再 要 的 高 性 能 、 


作为 存放 企业 数据 资产 的 存储 系统 ， 不 
高 可 靠 等 基本 诉求 ， 更 要 满足 未 来 业务 








ee 


计算 与 存储 在 过 去 20 年 一 直 在 非 均 衡 地 发 展 。 摩 尔 定 律 设 想 单位 面积 名 
体 管 数 量 每 18 月 增加 1 倍 ， 对 应 单位 价格 的 计算 性 能 将 翻 2 倍 以 上 。 回 顾 
过 去 20 年 : 处 理 器 和 网 络 带宽 分 别提 升 了 3000 倍 和 1000 倍 ， 但 磁盘 和 内 
存 带 宽 仅 提升 120 倍 ， 远 落后 于 摩尔 定律 。 阿 姆 达尔 定律 认为 ， 计 算 系 
统 中 对 某 一 部 件 采用 更 快 执行 方式 所 能 获得 的 系统 性 能 改进 程度 ， 取 决 
于 这 种 执行 方式 被 使 用 的 频率 ， 或 所 占 总 执行 时 间 的 比例 。 对 于 多 数 应 
用 而 言 ， 基 本 均 属 于 CPU 计算 与 内 /外 部 存储 〈Mem/Disk) 的 串联 模 

多 次。 


在 云 计 算 集 中 化 数据 中 心 资源 池 环 境 中 ， 由 于 GE 以 太 网 络 的 延伸 作 
用 ， 远 端 RAM/ SSD 的 容量 与 本 地 存储 相差 不 超过 1 个 数量 级 ， 数 据 访问 
时 延 则 比 本 地 HDD 减 少 30 倍 ， 珊 宽 降 低 1 倍 。 


从 20 世 纪 80 年 代 到 21 世 纪 的 前 10 年 ， 计 算 与 存储 经 历 了 一 次 分 离 的 变 
革 。 这 次 分 离 是 由 计算 与 存储 的 性 能 发 展 差 距 导 致 的 。 基 于 晶体 管 的 计 
算 与 基于 机 械 硬 盘 介 质 的 处 理性 能 差距 越 来 越 大 ， 以 及 存储 数据 的 重要 
性 不 断 增 加 ， 为 便于 提升 资源 利用 率 ， 终 于 导致 了 计算 、 存 储 的 架构 分 
离 ， 各 自 进行 资源 最 优 配置 〈 见 图 6-6) 。 








计算 与 存储 融合 计算 与 存储 分 离 (高 可 靠 、 大 容量 、 虚 拟 化 整合 场景 ) 


PC/ 服 务 需 计算 节点 存储 节点 
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PCVPCI-E PCLPCI-E 
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图 6-6 存储 由 合 到 分 的 历史 
下 面 我 们 介绍 发 生 在 世纪 之 交 的 这 次 计算 、 存 储 分 离 市 来 的 其 他 优势 。 











” 应 用 计算 的 高 可 笔 HA 迁 移 能 力 : 通过 多 个 计算 实例 共享 相同 存 
储 ， 在 计算 节点 发 生 故 障 后 ， 无 需 耗 时 的 外 存储 数据 迁移 ， 即 可 快 
速 在 其 他 计算 节点 上 恢复 故障 应 用 。 


” 计算 处 理 逻 辑 与 应 用 数据 分 离 ， 使 得 计算 节点 的 更 新 〈 软 硬件 
升级 ) 不 影响 数据 的 可 获得 性 。 


-计算 与 存储 各 目 资源 利用 率 最 大 化 及 技术 独立 发 展 : 计算 与 存 
储 各 自 独 立 组 成 水 平 资源 池 ， 存 储 资源 池 按 需 向 计算 应 用 实例 供给 
存储 资源 。 
随 痢 企业 业务 的 不 断 发 展 ， 特 别 是 互联 网 突 飞 狐 进 的 有 发展， 这 种 计算 / 
存储 分 离 架 构 面 临 的 挑战 和 问题 越 来 越 突出 ， 具 体 表 现在 如 下 几 个 方 
面 。 











” 计算 与 存储 物理 染 构 上 的 人 为 分 割 ， 导 致 系统 成 本 大 局 不 下 : 
目前 业界 主流 的 磁盘 阵列 软 便 件 普通 价格 昂贵 ， 且 磁盘 阵列 目 身 的 
全 略 管理 配置 非常 复杂 ， 维 护 成 本 居 高 不 下 ， 无 其 是 在 缺乏 IT 专业 
人 员 的 场景 (如 行业 分 支 机 构 、SME 等 ) 下 ， 由 人 工 误 操 作 导 致 的 
业务 中 断 ， 其 风险 较 高 。 


“SAN 机 头 成 为 可 能 制约 系统 扩展 性 的 单 点 瓶颈 : 随 着 计算 集群 
规模 的 不 断 扩展 ， 由 于 存储 资源 池 集 中 式 控 制 机 头 的 存在 ， 使 得 共 
胖 存 储 系统 的 可 扩展 性 及 可 靠 性 受到 制约 ， 如 采用 多 个 SAN 系 统 ， 
则 会 导致 各 独立 SAN 系 统 之 间 存 储 无 法 共享 。 





> SSD 存 储 介 质 的 引入 ， 使 得 SAN 控 制 机 头 可 能 成 为 系统 性 能 瓶 
颈 ，SSD 与 归属 计算 节点 CPU/MEM 之 间 的 最 高 效 连 接 方式 应 为 
PCI-E， 如 果 将 SSD 按 照 传统 存储 模式 集中 部 署 ， 则 控制 机 头 有 可 
能 成 为 CPU 与 SSD 间 高 吞吐 IO 带宽 的 瓶颈 ， 并 且 系 统 复 杂 度 更 高 。 





” 集中 式 SAN 控 制 机 头 可 能 成 为 影响 系统 整体 可 靠 性 的 单 点 故障 
风险 点 : 在 虚拟 化 服务 需 整 合 环境 下 ， 成 百 上 干 VM 共 胖 同 一 存储 
资源 地， 一 旦 磁盘 阵列 控制 右 有 发 生 故 障 ， 将 导致 整体 存储 资源 池 不 
可 用 。 尽 管 SAN 控 制 机 头 上 自身 具有 主 备 机 制 ， 但 依然 存在 异种 条 件 
下 主 备 同 时 故障 的 可 能 性 。 











” 集群 组 网 环境 下 ， 各 计算 节点 的 内 存 /SSD 作 为 分 层 存储 的 缓存 
彼此 孤立 ， 只 能 依赖 集中 存储 机 关内 的 缓存 实现 WO 加 速 ， 共 至 存 
储 的 集群 内 各 节点 Cache 容 量 有 限 ， 但 不 同市 点 Cache 无 法 协同 ， 且 
存在 可 徘 性 问题 ， 叶 人 臻 本 可 作为 集群 共 圣 绥 存 资源 的 容量 被 日 日 浪 


费 ， 


> 虚拟 化 技术 迅猛 发 展 ， 虚 拟 机 技术 给 服务 器 这 来 更 高 的 利用 
率 、 给 业务 带 来 更 便捷 的 部 署 ， 降 低 了 TCO， 因 而 在 众多 行业 得 到 
了 广泛 的 应 用 。 与 此 同时 ， 虚 拟 机 应 用 给 存储 融 来 以 下 挑战 : 第 

一 ， 相 比 传统 的 物理 服务 器 方式 ， 单 个 存储 系统 承载 了 更 多 的 业 

务 ， 存 储 系统 需要 更 强劲 的 性 能 来 文 撑 ;第 二 ， 采 用 共享 存储 方式 
部 署 虚拟 机 ， 单 个 卷 上 可 能 承载 几 十 或 上 百 的 虚拟 机 ， 导 致 卷 IO 
呈现 更 多 的 随机 特征 ， 这 对 传统 的 Cache 技 术 提 出 挑战 第 三 ， 单 
个 卷 承 载 多 个 虚拟 机 业务 ， 要 求 存储 系统 可 协调 虚拟 机 访问 苋 争 ， 
保证 对 QoS 要 求 高 的 虚拟 机 获取 到 资源 实现 性 能 目标 ， 第 四 ， 单 个 
卷 上 承载 较 多 的 虚拟 机 ， 需 要 卷 具 有 很 高 的 1/O 性 能 ， 这 对 传统 受 
限于 固定 硬盘 的 RAID 技 术 提 出 挑战 第 五 ， 虚 拟 机 的 广泛 使 用 ， 

时 间 。 


面 对 这 些 挑 惑 ， 正 所 谓 “ 合 久 必 分 、 分 久 必 合 ” 的 哲学 规律 在 IT 领域 同样 
上 演 。 针 对 大 多 数 企业 事务 型 IT 应 用 而 言 ， 关 注 核心 在 于 信息 数据 

的 “即时 处 理 * 而 非 “ 存 储 /归档 *"， 因 此 存储 向 计算 的 融合 再 次 符合 企业 业 
务 应 用 的 根本 诉求 。 通 过 引入 Scale-out 存 储 机 制 ， 可 实现 服务 器 集群 环 
境 下 DAS 和 直 连 人 硬盘 的 资源 池 化 和 虚拟 化 ， 推 动 计算 与 存储 从 “物理 分 
离 ” 架 构 辐 “物理 ?融合 与 “四 辑 ? 分 离 相 结合 架构 的 演进 ， 实 现 以 大 一 统 
融合 架构 形态 实现 对 典型 企业 IT 应 用 整合 及 性 价 比 最 优化 支撑 〈( 见 图 6- 
Fg 
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图 6-7” ”Scale-out 架 构 


在 这 种 Scale-out 架 构 与 计算 和 网 络 融 合 后 ， 便 形成 了 一 种 更 加 高 效 的 一 
体 化 分 布 式 存储 与 分 布 式 计算 架构 〈 见 图 6-8) 。 
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图 6-8 ”融合 一 体 化 架构 


一 体 化 分 布 式 存储 架构 具有 以 下 鲜明 特点 。 


~ 一体 化 系统 内 ， 设 置 Layerl1~Layer3 共 三 层 信息 存储 ， 基 于 分 
Wa 0 且 文 持 基 于 强 一 致 的 路 服务 器 数 
据 可 靠 型 。 


。 Layerl Storage〈 内 存 ) : 时 延 100 ns《〈 本 地 ) 一 100 us (和 远 地 ) 
。 Layer2 Storage (SSD) : 时 延 10 us〈 本 地 ) 一 300 us( 远 地 ) 
。 Layer3 Storage (DAS) : 时 延 5ms (本 地 ) 一 10 ms( 远 地) 

。 Layer4 Storage (SAN) : 时 延 5ms (本 地 ) 一 10 ms〔 远 地 ) 





” 通过 上 述 各 层 Storage 的 热点 数据 读 写 推 至 更 上 一 层 Storage， 实 
现 数据 MO 吞吐 及 整个 系统 性 能 的 大 幅 提 升 。 


” Layerl Storage〈 内 存 ) 尽管 各 吐 率 及 时 延 优 势 明 显 ， 但 容量 和 
功 耗 成 本 过 高 ， 因 此 对 于 多 数 应 用 只 能 作为 Cache， 必 须 基 于 Cache 
算法 (FIFO、LRU、LEFU 等 ) 管理 内 存 与 下 一 级 存储 
(SSD/DAS/SAN) 之 间 的 读 写 数据 刷新 。 





” Layer2 Storage (SSD) 既 可 以 作为 Cache〈 针 对 数据 量 超出 分 
布 式 Cache 容 量 的 场景 ) ， 也 可 以 作为 最 终 存储 〈 纯 SSD， 针 对 数 
据 容 量 不 大 的 场景 ) ， 为 提升 容量 效率 ， 未 来 需 考 虑 进一步 引入 人 硬 
加 速 的 块 级 去 重 引擎 。 








” Layer3 Storage (DAS) 相 比 Layer 4 Storage， 时 延 基 本 相同 ， 

因此 作为 Cache， 意 义 不 大 ， 但 可 以 作为 Layer 4 Storage (SAN) 的 
蔡 代 或 补充 《部 分 数据 放置 在 外 置 SAN， 部 分 数据 放置 在 Layer 3 
Storage) ， 从 而 达到 降低 用 户 购 置 及 维护 外 置 存储 的 TCO。 


” Layer 2 Storage (SSD) 作为 最 终 存 储 介 质 ， 因 SSD 不 存在 机 械 
损坏 故障 风险 ， 因 此 关键 在 于 如 何 通 过 优化 的 Cache 算 法 ， 将 随机 
写 IO 串 行 化 ， 从 而 有 效 降低 SSD 写 放大 率 ， 提 升 SSD 寿 命 ， 用 于 中 
高 端 数据 库 等 业务 。 


” Layer 3 Storage (DAS) 作为 最 终 存 储 介质 ， 与 Layer 4 Storage 
一 样 ， 需 面 对 便 盘 机 械 振动 、 磨 损 、 环 境 影 响 等 特殊 因素 的 制约 ， 
因此 充分 借鉴 和 共享 Layer 4 Storage 在 硬盘 故障 检测 与 修复 方面 的 





长 期 经 验 与 成 果 积 累 。 





” 针对 新 建 私 有 云 / 公 有 云 的 场景 推荐 洒 用 Layer 3 Storage; 针对 
IT 平 台 蕉 换 或 改造 项 目 ， 可 考 卡 借助 存储 虚拟 化 充分 重用 现 有 的 外 
置 Layer 4 Storage， 同 时 将 新 产生 的 业务 数据 部 署 在 Layer 3 Storage 
上 ， 也 可 在 外 置 存 储 退 网 前 将 其 数据 向 Layer 3 逐步 无 颖 平滑 迁移 。 








> 基于 内 存 /SSD 网 格 的 计算 近 端 WO 加 速 SSD 应 用 加 速 需 要 靠近 
服务 器 和 应 用 侧 ， 这 已 经 成 为 业界 共识 。 业 界 最 具 代 表 性 的 SSD 加 
速 产 品 大 多 是 单机 版 ， 不 文 持 分 布 式 缓存 一 致 性 ， 很 多 应 用 场景 下 
无 法 使 用 ， 比 如 : 无 法 文 持 共 享 磁盘 环境 的 active/active 集 群 ， 如 双 
机 、 数 据 库 集群 ， 无 法 支持 虚拟 机 集群 的 动态 资源 调度 和 虚拟 机 迁 
移 功能 。 而 分 布 式 存储 引擎 利用 有 最 先进 的 分 布 式 集群 技术 ， 可 以 
很 好 地 解决 传统 架构 中 热点 容量 不 足 的 问题 。 同 时 ， 其 也 可 与 
IPSAN 配 合 ， 形 成 高 速 缓存 和 外 置 低 速 的 互补 。 


基于 Scale-out 计 算 、 存 储 融 合 架 构 的 IO 性 能 提升 : 针对 随机 
IOPS 读 写 ， 基 于 分 布 式 存储 软件 ， 各 服务 器 内 存 Cache 总 容量 相 比 
集中 式 SAN 机 头 的 Cache 容 量 增加 可 达 5 倍 以 上 ， 从 而 使 热点 数据 访 
问 命中 率 与 读 写 效率 提升 3 一 5 倍 ; 分布 式 存储 可 以 采用 大 容量 低 成 
本 SATA 硬 盘 提 供与 SASAFC 硬 盘 持 平 的 性 能 ， 而 且 有 效 容量 更 大 ; 
在 针对 大 文件 对 象 的 顺序 读 写 方面 ， 分 布 式 存储 为 App 实 例 或 VM 
提供 并 发 读 写 服 务 ， 使 得 突 发 MBPS 提 升 3 一 5 倍 以 上 。 


一 体 化 分 布 式 存储 架构 与 Google 那 种 “Data Center as a Computer” 的 区 别 
是 ， 后 者 是 面 癌 海量 搜索 业务 的 计算 /存储 垂直 整合 数据 中 心 ， 前 者 是 
0 0 高 可 扩 

IT 平 口 o 


业界 典型 的 分 布 式 存储 技术 主要 有 分 布 式 文件 系统 存储 、 分 布 式 对 象 存 
储 和 分 布 式 块 设备 存储 等 几 种 形式 。 分 布 式 存 储 技术 及 其 软件 产品 已 经 
日 趋 成 熟 ， 并 在 IT 行业 得 到 了 广泛 的 使 用 和 验证 ， 例 如 互联 网 搜索 引擎 
中 使 用 的 分 布 式 文件 存储 ， 商 业 化 公有 云 中 使 用 的 分 布 式 块 存储 等 。 分 
布 式 存储 软件 系统 具有 以 下 特点 。 


” 高 性 能 : 分 布 式 哈 希 数据 路 由 ， 数 据 分 散 存 放 ， 实 现 全 局 负载 
均衡 ， 不 存在 集中 的 数据 热点 和 大 容量 分 布 式 缓存 。 





























” 高 可 靠 : 采用 集群 管理 方式 ， 不 存在 单 点 故障 ， 有 灵活 配 置 多 数 
据 副 本 ， 不 同 数据 副本 存放 在 不 同 的 机 架 、 服 务 器 和 硬盘 上 ， 单 个 
物理 设备 故障 不 影响 业务 的 使 用 ， 系 统 检测 到 设备 故障 后 可 以 目 动 
重建 数据 副本 。 


” 高 扩展 : 没有 集中 式 机 头 ， 文 持平 请 扩容 ， 容 量 几乎 不 受 限 


制 |。 

















” 易 管 理 : 存储 软件 直接 部 车 在 服务 器 上 ， 没 有 单独 的 存储 专用 
人 硬件 设备 ， 通 过 Web UI 的 方式 进行 软件 管理 ， 配 置 简单 。 


6.4.2 ”分布 式 存 储 系 统 的 架构 
分 布 式 存储 池 的 概念 
分 布 式 存储 系统 把 所 有 服务 器 的 本 地 硬盘 组 织 成 若干 个 资源 池 ， 基 于 资 
源 池 提 供 创 建 /删除 应 用 卷 Volume) 、 创 建 / 删 除 快 照 等 接口 ， 为 上 层 
软件 提供 卷 设 备 功 能 
分 布 式 存储 系统 资源 池 具 有 如 下 特点 〈 见 图 6-9) : 
-每 块 硬盘 分 为 若干 个 数据 分 片 (Partition ) ， 每 个 Partition 只 属 
于 一 个 资源 池 ，Partition 是 数据 多 副本 的 基本 单位 ， 也 惑 是 说 多 个 
数据 副本 指 的 是 多 个 Partition 。 


” 系统 自动 保证 多 个 数据 副本 尽 可 能 分 布 在 不 同 的 服务 器 上 【〔 服 
务 需 数 大 于 数据 副本 数 时 ) 。 


” 系统 自动 保证 多 个 数据 副本 之 间 的 数据 强 一 致 性 。 
>” Partition 中 的 数据 以 Key-Value 的 方式 存储 。 





> 对 上 层 应 用 提供 卷 设备 (Volume) ， 没 有 LUN 的 概念 ， 使 用 简 
单 。 


” 系统 自动 保证 每 个 硬盘 上 的 主 用 Partition 和 备用 Partition 数 量 是 
相当 的 ， 避 人 免 出 现 集中 的 热点 。 


” 所 有 硬盘 都 可 以 用 做 资源 池 的 热 备 盘 ， 单 个 资源 池 最 大 支持 数 
百 上 千 块 硬盘 。 


~~-、 “一 一 一 一 一 


oo 





图 6-9 分布 式 存储 系统 存储 资源 池 
2. 分 布 式 存储 系统 的 功能 框 染 


分 布 式 存储 系统 采用 分 布 式 集群 控制 技术 和 分 布 式 Hash 数 据 路 由 技术 ， 
提供 分 布 式 存储 功能 特性 。 分 布 式 存储 系统 功能 淋 构 图 如 图 6-10 所 示 。 


存储 SCSI 了 驱动 iSCSI 


接口 层 
分 布 式 链接 克隆 
备份 
存储 分 布 式 快照 
于 中 


服务 层 二 
分 布 式 精简 配置 存储 管理 











分 布 式 Cache 





存储 集群 状态 控制 强 一 致 性 复制 协议 
引擎 层 。 _ 分 布 式 数据 路 由 | 
图 6-10 分布 式 存储 系统 功能 架构 
分 布 式 人 存储 系统 功能 模块 基体 如 下 。 
” 存储 接口 层 : 通过 SCSI 驱 动 接口 向 操作 系统 、 数 据 库 提供 卷 设 
备 。 





并 行 数 据 重 建 





” 存储 服务 层 : 提供 各 种 存储 高 级 特性 ， 如 快照 、 链 接 克 隆 、 精 
简 配置 、 分 布 式 Cache、 容 灾 备 份 等 。 


” 存储 引擎 层 : 分 布 式 存储 系统 存储 基本 功能 ， 包 括 管理 状态 控 
制 、 分 布 式 数据 路 由 、 强 一 至 性 复制 技术 、 集 群 故障 自 愈 与 并 行 数 
据 重 建 子 系统 等 。 

” 存储 管理 层 ， 实现 分 布 式 存储 系统 软件 的 安装 部 署 、 上 自动 化 配 
置 、 在 线 升 级 、 告 警 、 监 控 和 日 志 等 OM 功 能 ， 同 时 对 用 户 提供 
Portal 界面 。 

3. 分 布 式 存储 系统 的 应 用 场景 


分 布 式 存储 系统 尤其 适合 计算 和 存储 融合 一 体 化 系统 。 传 统 的 虚拟 化 方 
式 是 在 相互 分 离 的 计算 、 和 存储 和 网 络 设备 上 谷 加 了 一 层 虚 拟 化 软件 。 这 





种 方式 虽然 可 以 提升 资源 利用 率 ， 但 是 由 于 系统 的 复杂 性 ， 并 不 能 简化 
各 类 基础 设施 的 运 维 成 本 。 融 合 一 体 化 系统 真正 实现 了 计算 、 存 储 和 网 
络 设备 的 深度 融合 ， 硬 件 设 备 与 虚拟 化 软件 平台 的 一 体 化 。 一 体 化 IT 系 
统 采用 分 布 式 存储 系统 把 计算 服务 器 的 本 地 人 硬盘 组 织 成 一 个 类 似 SAN 设 
备 的 虚拟 存储 池 ， 对 上 层 应 用 提供 存储 功能 。 


在 IT 平 台中 ， 分 布 式 存储 系统 蔡 代 了 传统 的 外 置 存储 设备 。 适 合 使 用 分 
布 式 存储 系统 的 应 用 场景 。 














~ VDI、OA 应 用 。 其 典型 特点 是 ， 容量 共享 精简 分 配 ， 性 能 共享 
分 时 复 用 ， 计 算 和 存储 配 比 相对 均衡 ， 成 本 性 价 比 要 求 高 。 

> 虚拟 化 环境 混合 应 用 。 其 典型 特点 是 ， 容量 共享 需求 明显 ， 多 
应 用 混合 负载 ， 线 性 扩展 。 

” ”OLAP 应 用 。 其 典型 特点 是 ， 大 并 发 吞吐 量 ， 计 算 和 存储 带宽 
要 求 高 O 

” OLTP 应 用 。 其 典型 特点 是 : IOPS 并 发 度 高 。 


， 性 能 提 





分 布 式 存储 系统 通过 创新 的 架构 把 分 散 的 、 低 速 的 SATA/SAS 机 械 人 硬盘 
组 织 成 一 个 高 效 的 类 SAN 存 储 池 设备 ， 提 供 比 SAN 设 备 更 高 的 VO， 把 
性 能 发 挥 到 了 极致 。 


分 布 式 存储 系统 一 般 支 持 使 用 SSD 苦 代 HDD 作 为 高 速 存储 设备 ， 支 持 使 
用 InfiniBand 网 络 蔡 代 GE/10GE 网 络 提供 更 高 的 带宽 ， 为 对 性 能 要 求 极 
高 的 大 数据 量 实时 处 理 场景 提供 完美 的 支持 。 


分 布 式 存储 系统 采用 无 状态 的 分 布 式 软件 机 头 ， 机 头 部 车 在 各 个 服务 需 
上 ， 无 集中 式 机 头 的 性 能 瓶 颈 。 单 个 服务 硕 上 软件 机 头 只 占用 较 少 的 
CPU 资源 ， 却 能 提供 比 集中 式 机 头 更 高 的 IOPS。 其 实现 了 计算 和 存储 的 
融合 ， 缓 存 和 带宽 都 均匀 分 布 到 各 个 服务 器 节点 上 。 








分 布 式 存储 系统 集群 内 各 服务 器 节点 的 人 硬盘 使 用 独立 的 IO 带 宽 ， 不 存 
在 独立 存储 系统 中 大 量 磁 盘 共 享 计 算 设 备 和 存储 设备 之 间 有 限 带 宽 的 问 
题 。 其 将 服务 器 部 分 内 存 用 做 读 缓存 ，NVDIMM 用 做 写 缓存 ， 数 据 组 
存 均 匀 分 布 到 各 个 节点 上 ， 所 有 服务 器 的 缓存 总 容量 远大 于 采用 外 置 独 
立 存储 的 方案 。 即 使 采用 大 容量 低 成 本 的 SATA 硬 和 柱 ， 分 布 式 存储 系统 
整体 性 能 提升 1 一 3 倍 ， 同 时 提供 更 大 的 


全 局 负载 均衡 


分 布 式 存储 系统 的 实现 机 制 保证 了 上 层 应 用 对 数据 的 MO 操作 均匀 分 布 
在 不 同 服务 器 的 不 同 硬 航 上 ， 不 会 出 现 局 部 的 热点 ， 守 现 全 局 负载 
衡 。 


第 一 ， 系 统 上 自动 将 数据 块 打 散 存储 在 不 同 服务 右 的 不 同人 硬盘 上 ， 冷 热 不 
均 的 数据 会 均匀 分 布 在 不 同 的 服务 器 上 ， 不 会 出 现 集中 的 热点 。 


第 二 ， 数 据 分 卢 分 配 算法 保证 了 主 用 副本 和 备用 副本 在 不 同 服务 器 和 不 
0 换 句 话说 ， 每 块 人 硬盘 上 的 主 用 副本 和 备 副本 数量 
碟 雪 四 HJ。 


第 三 ， 扩容 节点 或 者 故障 减 容 节 点 时 ， 数 据 恢复 重建 算法 保证 了 重建 后 
系统 中 各 市 反 负 载 的 均衡 性 。 


分 布 式 SSD 存 储 


分 布 式 存储 系统 通过 支持 高 性 能 应 用 设计 的 SSD 存 储 系 统 ， 可 以 拥有 比 
传统 的 机 械 硬 盘 “(SATA/SAS) 更 高 的 读 写 性 能 。 特 别 是 PCIe 卡 形式 的 
SSD， 会 带 来 更 高 的 带宽 和 IO， 采 用 PCIe 2.0 x8 的 接口 ， 可 以 提供 高 达 
3.0GB 的 读 / 写 带宽 。SSD VO 性 能 可 以 达到 4KB 数 据 块 ，100% 随 机 ， 提 
供 高 达 600K 的 持续 随机 读 IOPS 和 220K 的 持续 随机 写 IOPS。 


SSD 存 在 一 个 普 所 的 问题 ， 就 是 写 寿 命 问 题 ， 在 采用 SSD 的 时 候 ， 分 布 
式 SSD 存 储 系统 通过 以 下 措施 增强 了 可 靠 性 〈 见 图 6-11) 。 




















> 内 骨 的 ECC 检 错 / 纠 错 引 擎 和 RAID53 引 擎 ， 数 据 通 道 间 形成 二 维 
的 检 错 / 纠 错 机 制 ; 


> 内 置 DATA Scrubbing 引 擎 定时 检测 存储 数据 ， 提 前 预防 数据 错 
误 的 产生 ， 


>” 通道 间 使 用 Dynamic RAID 算 法 ， 实 现 通 道 间 的 资源 共享 ， 确 保 
在 心 片 坏 块 过 多 甚至 是 多 个 芯片 故障 的 情况 下 均 能 正常 工作 ; 


>” 内 部 实现 冷 热 数据 分 类 与 管理 ， 配 合 先进 的 磨损 算法 ， 最 大 程 
度 地 提升 回收 效率 ， 降 低 写 磨损 ， 从 而 提升 SSD 的 使 用 寿命 。 


Database 





分 布 式 SSD 存 储 系统 软件 
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图 6-11 分 布 式 存储 系统 支持 分 布 式 SSD 存 储 系统 
高 性 能 快照 


分 布 式 存储 系统 提供 了 快照 机 制 ， 将 用 户 的 逻辑 卷 数据 在 茶 个 时 间 点 的 
状态 保存 下 来 ， 后 续 可 以 作为 导出 数据 、 恢 复数 据 之 用 。 


分 布 式 存储 系统 快照 数据 基于 DHT 机 制 ， 快 照 不 会 引起 原 卷 性 能 下 降 。 
针对 一 块 容量 为 2TB 的 人 硬盘 ， 完 全 在 内 存 中 构建 案 引 需要 几 十 MB 空 








间 ， 通 过 一 次 Hash 奋 找 即 可 判断 有 没有 做 过 快照 ， 以 及 最 新 快照 的 存储 
位 置 ， 因 此 效率 很 高 〈 见 图 6-12) 。 





快照 1 











图 6-12 分布 式 存储 系统 快照 
高 性 能 链接 克隆 


分 布 式 存储 系统 可 以 基于 增 量 快 照 提 供 链接 克隆 机 制 ， 基 于 一 个 快照 创 
建 出 多 个 殉 隆 卷 ， 各 个 克隆 卷 刚 创建 出 来 时 的 数据 内 容 与 快照 中 的 数据 
内 容 一 致 ， 后 续 对 于 克隆 卷 的 修改 不 会 影响 原始 的 快照 和 其 他 殉 隆 卷 。 
分 布 式 存储 系统 通过 文 持 批 量 进行 虚拟 机 卷 部 普 ， 可 以 在 秒 级 批量 创建 
上 百 个 虚拟 机 卷 。 克 隆 卷 可 支持 创建 快照 、 从 快照 恢复 以 及 再 次 作为 母 
卷 进 行 殉 隆 操作 《〈 见 图 6-13) 。 












克隆 卷 B/ 
母 卷 B 









克隆 郑 克隆 卷 作为 母 卷 快照 再 克隆 


图 6-13 ”分布 式 存储 系统 链接 克隆 





高 速 InfiniBand 网 络 

为 消除 分 布 式 存储 环境 中 存储 交换 瓶颈 ， 分 布 式 存储 系统 可 以 部 署 为 高 
带宽 应 用 设计 的 InfiniBand 网 络 。InfiniBand 网 络 可 以 为 分 布 式 存储 系统 
带 来 以 下 特性 : 


> 56Gbps FDR InfiniBand， 超 高 速 互联 ; 





”~ 标准 成 熟 多 级 胖 树 组 网 ， 平 滑 容量 扩容 ; 

”~ 近似 无 阻塞 通信 网 络 ， 数 据 交换 无 瓶颈 ; 

” 纳 秒 级 通信 时 延 ， 计 算 存 储 信息 及 时 传递 ; 

>” 无 损 网 络 QoS， 数 据 传 送 无 丢失 ; 

” 主 备 端口 多 平面 通信 ， 宛 余 通 信 无 忧 ; 

” 单口 56Gbps 带 宽 ， 完 美 配合 极速 SSD 存 储 吞 吐 ， 性 能 无 限 。 





ee 


DHT 数 据 路 由 : 分 布 式 存 储 系统 采用 DHT (Distribute Hash Table， 分 布 
式 哈 希 表 ) 路 由 数据 算法 。 每 个 存储 节点 负责 存储 一 小 部 分 数据 ， 基 于 
DHT 实 现 整 个 系统 的 寻 址 和 存储 。 


DHT 算 法 具有 以 下 特点 。 


” 均衡 性 〈Balance) : 数据 能 尽 可 能 地 分 布 到 所 有 的 节点 中 ， 这 
样 可 以 使 得 所 有 市 把 负 载 均衡 。 


” 单调 性 〈Monotonicity) : 当 有 新 节点 加 入 到 系统 中 时 ， 系 统 重 
新 做 数据 分 配 ， 原 来 的 数据 存储 位 置 不 需要 很 大 的 调整 。 


由 于 分 布 式 存储 系统 存储 路 由 采用 分 布 式 哈 希 算法 ， 使 得 存储 系统 具有 
如 下 特点 〈 见 图 6-14) 。 


” 快速 达到 人 负载 均衡 新 加 入 节操 只 需要 搬移 很 少 部 分 数据 分 厂 
即 可 达到 负载 均衡 。 








” 数据 局 可 徘 : 灵活 配置 的 分 区 分 配 算法 ， 避 免 多 个 数据 副本 位 
于 同一 个 服务 器 、 同 一 个 磁盘 上 。 


Hash 寻 址 分 区 物理 节点 


























图 6-14 “分 布 式 存储 系统 DHT 数 据 路 由 


平滑 扩容 节点 


分 布 式 存储 系统 的 分 布 式 架构 具有 民 好 的 可 扩展 性 ， 文 持 超 大 容量 的 存 
储 〈 见 图 6-15) 。 





” DHT 算 法 保证 了 扩容 后 不 需要 做 大 量 的 数据 搬迁 ， 可 以 快速 达 
到 负载 均衡 状态 。 


” 扩展 计算 节点 可 以 同步 扩容 存储 空间 ， 新 扩展 节点 和 原 有 节点 
可 构成 统一 的 资源 池 进 行使 用 。 


” ”分布 式 存 储 系统 分 布 式 系统 的 带宽 和 Cache 均 匀 分 布 在 各 个 市 
扩 上 ， 币 宕 和 Cache 不 会 随 厦 市 皮 的 扩容 而 减少 。 








机 头 层 


人 磁盘 层 





图 6-15 分布 式 存 储 系统 平滑 扩容 节点 


资源 按 需 使 用 


分 布 式 存储 系统 提供 了 精简 配置 机 制 ， 为 用 户 提供 比 实际 物理 存储 更 多 
0 0 
| < 


采用 分 布 式 Hash 技 术 ， 天 然 文 持 分 布 式 自动 精简 配置 (Thin 
Provisioning)， 无 需 预 先 分配 空 间 。 


精简 配置 (Thin Provisioning) 无 任何 性 能 下 降 (IPSAN 扩 展 空间 时 需要 
耗费 额外 的 性 能 ) ， 如 图 6-16 所 示 。 


传统 配置 


图 6-16 “分 布 式 存储 系统 自动 精简 配置 
统一 的 Web 管 理 界 面 


分 布 式 存储 环境 ， 在 大 规模 场景 下 涉及 设备 众多 ， 各 组 件 的 运行 维护 需 
要 通过 自动 化 形式 完成 ， 尽 量 减少 人 工 干预 。 用 户 从 Portal 界 面 可 以 碍 
看 系统 监控 《KPI 指标 ) 、 告 警 事件 和 存储 池 状 态 等 ， 操 作 维护 简单 ， 
有 力 帮 助 分 布 式 系统 在 传统 企业 落地 部 普 〈 见 图 6-17) 。 





生 首页 
磁 畜 升级 刷新 | 


管理 IP/ 存 储 IP 





192.168.40.52/192.168.50.25 


Disk0 Diskl Disk2 Disk3 Disk4 Disk5 
192.168.40.9/192.168.50.23 

Disk0 Disk1 Disk2 Disk3 Disk4 Disk$ 
192.168.40.7/192.168.50.21 

Disk0 Diskl Disk2 Disk3 Disk4 DiskS 
192.168.40.8/192.168.S0.22 

Disk0 Diskl Disk2 Disk3 Disk4 Disk5 
192.168.40.51/192.168.50.24 

Disk0 Diskl Disk2 Disk3 Disk4 Disk5 

无 磁盘 正常 E | 狼 障 未 使 用 





图 6-17 ”分布 式 存储 系统 Web UI 界面 样 例 











广泛 兼容 能 力 


其 一 般 要 求 分 布 式 存储 系统 采用 通用 x86 服 务 圳 平台 ， 在 软件 上 文 持 通 
用 的 操作 系统 、 数 据 库 系统 及 虚拟 化 软件 。 


6.4.5 分 布 式 存储 关键 技术 : 安全 可 靠 性 增 





集群 管理 


分 布 式 存储 系统 的 分 布 式 存储 软件 采用 集群 管理 方式 ， 规 吉 单 点 故障 ， 
PN 


集群 内 选举 进程 Leader，Leader 人 负责 数据 存储 逻辑 的 处 理 ， 当 Leader 出 
现 故 障 ， 系 统 上 自动 选举 其 他 进程 成 为 新 的 Leader。 
多 数据 副本 


分 布 式 存储 系统 存储 系统 中 没有 使 用 传统 的 RAID 模 式 来 保证 数据 的 可 
靠 性 ， 而 是 采用 了 多 副本 备份 机 制 ， 即 同一 份 数据 可 以 复制 保存 多 个 副 
本 。 在 数据 存储 前 ， 对 数据 进行 分 片 ， 分 片 后 的 数据 按照 一 定 的 规则 保 
存 集群 节点 上 。 








如 图 6-18 所 示 ， 对 于 服务 器 Server1 的 磁盘 Disk1 上 的 数据 块 P1， 它 的 数 
据 备 份 为 服务 器 Server2 的 磁盘 Disk2 上 P1'，P1 和 P1' 构 成 了 同一 个 数据 块 
的 两 个 副本 。 

















图 6-18 ”分布 式 存储 系统 多 数据 副本 
数据 一 致 性 


数据 一 致 性 的 要 求 是 : 当 应 用 程序 成 功 写 入 一 份 数据 时 ， 后 端的 几 个 数 
据 副 本 必然 是 一 致 的 ， 当 应 用 程序 再 次 读 取 时 ， 无 论 在 哪个 副本 上 读 
取 ， 痢 是 之 前 写 入 的 数据 ， 这 种 方式 也 是 绝 大 部 分 应 用 程序 所 希望 的 。 


保证 多 个 数据 副本 之 间 的 数据 一 致 性 是 分 布 式 存储 系统 的 重要 技术 扣 ， 
分 布 式 存储 系统 采用 强 一 致 性 复制 技术 确保 各 个 数据 副本 的 一 致 性 ， 一 
个 副本 写 入 ， 多 个 副本 读 取 。 


分 布 式 存储 系统 还 文 持 Read Repair 机 制 。Read Repair 机 制 是 指 在 读数 据 
失败 时 ， 会 判断 错误 类 型 ， 如 果 是 磁盘 局 区 读 取 错误 ， 可 以 通过 从 其 他 
副本 读 取 数据 ， 然 后 重新 写 入 该 副本 的 方法 进行 恢复 ， 从 而 保证 数据 副 
本 总 数 不 减 少 。 


快速 数据 重建 


分 布 式 存储 系统 内 部 需要 具备 强大 的 数据 保护 机 制 。 数 据 存 储 时 被 分 片 
打 散 到 多 个 闻 把 上， 这 些 分 片 数 据 支持 分 布 在 不 同 的 存储 节操、 不 同 的 
机 柜 之 间 ， 同 时 数据 存储 时 采用 多 副本 技术 ， 数 据 会 自动 保存 多 份 ， 每 
一 个 分 片 的 不 同 副 本 也 被 分 散 保 存 到 不 同 的 存储 节点 上 。 在 人 硬件 发 生 故 
隐 导 致 数据 不 一 致 时 ， 分 布 式 存储 系统 通过 内 部 的 目 检 机 制 ， 通 过 比较 














不 同 节 点 上 的 副本 分 乒 ， 目 动 发 现 数据 故障 。 人 发现 故 障 后 启动 数据 修复 
机 制 ， 在 后 台 修 复数 据 。 由 于 数据 被 分 散 到 多 个 不 同 的 存储 节点 上 保 
存 ， 数 据 修 复 时 ， 在 不 同 的 节点 上 同时 启动 修复 ， 每 个 节点 上 只 需 修复 
一 小 部 分 数据 ， 多 个 节点 并 行 工 作 ， 有 效 避 免 单个 节点 修复 大 量 数据 所 
产生 的 性 能 瓶颈 ， 对 上 层 业 务 的 影响 做 到 最 小 化 。 数 据 故 障 上 自动 恢复 流 
程 如 图 6-19 所 示 。 








数据 分 片 存 储 硬件 故障 故障 自动 检测 


多 节点 并 行 恢复 自动 重建 数据 副本 








图 6-19 分布 式 存储 系统 数据 重建 流程 
分 布 式 存储 系统 需要 文 持 并 行 、 快 速 故障 处 理 和 重建 : 


” 数据 分 睫 在 资源 池内 被 打 散 ， 硬 盘 出 现 故 障 后 ， 可 在 资源 池 范 
围 内 目 动 并 行 重建 ; 


“数据 分 布 上 文 持 路 服务 露 或 跨 机 柜 ， 不 会 因 茶 个 服务 器 故障 而 
导致 数据 不 可 访问 ; 


” 扩容 时 可 以 自动 进行 负载 均衡 ， 应 用 无 需 调 整 即 可 获得 更 大 的 
容量 和 性 能 。 
掉 电 保护 

分 布 式 存储 系统 运行 过 程 中 可 能 会 出 现 服 务 器 突然 下 电 的 情况 ， 分 布 式 


存储 系统 在 内 存 中 的 元 数据 和 写 缓存 数据 会 随 着 挥 电 而 丢失 ， 需 要 使 用 
NVDIMM 非 易 失 内 存 来 保存 和 恢复 元 数据 和 缓存 数据 。 


部 晋 分 布 式 存 储 系 统 软件 的 每 一 台 服 务 器 要 求 配 备 NVDIMM 内 存 条 ， 
服务 器 擅 电 时 会 把 元 数据 和 缓存 数据 写 入 NVDIMM 的 Flash 中 ， 上 电 后 

















又 会 把 Flash 中 的 数据 还 原 到 内 存 中 。 


分 布 式 存储 系统 能 够 识别 出 系统 中 的 NVDIMM 和 内存， 并 把 需要 保护 的 
数据 按照 内 部 规则 存放 在 NVDIMM 中 ， 以 便 提 供 掉 电 保护 功能 。 


第 7 音 YY » 各 > 力 口 人 上 Ny 


我 们 知道 ， 一 个 发 电厂 建设 好 后 ， 硝 每 家 每 户 使 用 电 的 话 ， 还 需要 染 设 
长 途 电 线 、 建 设 变 电站 、 在 居民 楼 设置 变压器 、 在 每 家 每 户 铺 设 电 线 、 
安置 插座 和 开关 ， 设 置 电表 ， 这 样 才 能 够 将 电力 传送 到 千家 万 户 。 同 样 
地 ， 第 4 蔓 、 第 5 章 和 第 6 章 分 别 讲 述 了 计算 虚拟 化 、 网 络 虚拟 化 和 存储 
虚拟 化 ， 利 用 这 些 技术 ， 我 们 已 经 将 分 布 在 不 同 地方 的 数据 中 心 进行 虚 
拟 化， 构筑 一 个 可 以 提供 云 服 务 的 、 很 大 的 IT 资源 池 ， 就 是 说 ，*“IT 电 
三” 已 经 建成 。 但 是 ， 对 于 最 终 的 用 户 ， 要 获得 并 使 用 I 资源 ， 束 要 解 
决 如 何 高 效 访问 云 计 算 系 统 以 获取 所 需 的 IT 资源 ， 并 获得 满意 的 访问 体 
验 的 问题 ， 这 就 是 云 接 入 。 


71 二 站 概述 
7.1.1 A 


云 接 入 是 指 从 单一 平台 实现 提 面 和 应 用 虚拟 化 ， 提 供 固 定 和 移动 终 站 融 
合 接 入 的 统一 工作 空间 ， 帮 助 客户 对 固定 办 公 和 移动 办 公 环 境 下 的 时 

面 、 应 用 和 数据 进行 统一 管理 、 友 布 和 聚合 。 它 是 一 种 基于 云 计 算 的 终 
端 用 户 计 算 模 式 。 在 这 种 模式 中 ， 所 有 的 应 用 程序 都 在 云 数 据 中 心 运 

行 ， 应 用 程序 无 需 在 终端 上 安装 。 用 户 通 过 终端 云 接 入 协议 连接 到 云 数 
据 中 心 ， 并 运行 在 云 数 据 中 心 的 程序 ， 以 获取 程序 运行 结 


随 着 企业 信息 化 进程 的 不 断 深入 ， 企 业 中 增加 了 各 种 各 样 的 电子 设备 。 
由 于 传统 开 的 束 继 ， 企 业 IT 团 队 依 然 要 维护 大 量 的 传统 PC， 这 不 仅 需 要 
大 量 的 人 力 物 力 ， 而 且 在 进行 外 网 接 入 以 及 异地 登录 的 时 候 无 法 很 好 地 
保障 企业 数据 安全 。 全 球 可 连接 互联 网 设备 的 出 货 情况 显示 ，PC 所 占 
份额 越 来 越 小 。2013 年 ， 智 能 手机 出 货 量 接近 10 亿 部 。 据 调查 ， 美 国人 
每 天 在 智能 手机 上 花 1 个 小 时 ， 每 天 在 平板 电脑 上 花 半 个 小 时 。 移 动 带 
0 0 


云 接 入 很 好 地 解决 了 这 些 问题 ， 不 仅 可 以 快速 地 搭建 企业 IT 基础 架构 ， 
还 可 以 快速 对 员工 账户 进行 管理 ， 实 现 路 平台 作业 。 
































桌面 云 是 对 云 接 入 桌面 这 一 侧重 点 的 专门 前 述 。 
7.12 云 接 入 站 [I 意 》 


云 接 入 的 业务 价值 很 多 ， 除 了 上 面 所 提 到 的 随时 随地 访问 桌面 以 外 ， 还 
有 下 面 一 些 重要 的 业务 价值 。 


数据 上 移 ， 信 息 安全 


传统 果 面 环境 下 ， 由 于 用 户 数 据 都 保存 在 本 地 PC， 因 此 内 部 泄密 途径 
众多 ， 且 容易 受到 各 种 网 络 攻击 ， 从 而 导致 数据 丢失 。 云 接 入 果 面 环境 
下 ， 终 站 与 数据 分 离 ， 本 地 终端 只 显示 设备 ， 无 本 地 存储 ， 所 有 的 果 面 
数据 都 集中 存储 在 企业 数据 中 心 ， 无 需 担 心 企业 的 智力 资产 泄露 。 除 此 
In 
I 安全 可 徘 。 


高 效 维护 ， 自 动 管控 
传统 桌面 系统 故障 率 高 ， 据 统计 ， 平 均 每 400 台 PC 机 就 需要 一 名 专职 IT 
人 员 进 行 管理 维护 ， 且 每 台 PC 维 护 流程 〈 故 障 申报 -> 安排 人 员 维 护 -> 故 
障 定位 -> 进行 维护 ) 需要 2 一 4 个 小 时 。 


在 云 接 入 桌面 环境 下 ， 可 实现 资源 目 动 管控 ， 维 护 方 便 简单 ， 节 省 IT 投 
资 。 














~ 维护 效率 提升 : 云 接 入 桌面 云 不 需要 前 端 维护 ， 强 大 的 一 键 式 
维护 工具 让 自助 维护 更 加 方便 ， 提 高 企业 运营 效率 。 使 用 云 接 入 桌 
a 每 位 I 人 员 可 管理 超过 2000 台 虚拟 桌面 ， 维 护 效 率 提 高 4 倍 
上 








” 资源 自动 管控 白天 可 目 动 监控 资源 负载 情况 ， 保 证 物理 服务 
织 人 负载 均衡 ， 夜 间 可 根据 虚拟 机 资源 占用 情况 ， 关 闭 不 使 用 的 物理 
服务 器 ， 节 能 降 耗 。 


应 用 上 移 ， 业 务 可 靠 


在 传统 时 面 环 境 下 ， 所 有 的 业务 和 应 用 都 在 本 地 PC 上 进行 处 理 ， 稳 定 
性 仅 99.5%， 年 宕 机 时 间 约 21 个 小 时 。 在 云 接 入 有 果 面 方 末 中 ， 所 有 的 业 


务 和 应 用 都 在 数据 中 心 进 行 处 理 ， 强 大 的 机 房 保障 系统 能 确保 全 局 业务 
年 度 平均 可 用 度 达 99.9%， 充 分 保障 业务 的 连续 性 。 各 类 应 用 的 稳定 运 
行 ， 有 效 降低 了 办 公 环 境 的 管理 维护 成 本 。 


无 颖 切换 ， 移 动 办 公 


在 传统 果 面 环境 下 ， 用 户 只 能 通过 单一 的 专用 设备 访问 其 个 性 化 果 面 ， 
这 极 大 地 限制 了 用 户 办 公 地 的 灵活 性 。 采 用 云 接 入 加 面 ， 由 于 数据 和 吕 
面 都 集中 运行 和 保存 在 数据 中 心 ， 用 户 可 以 不 中 断 应 用 运行 ， 实 现 无 颖 
切换 办 公 地 点 。 


降温 去 噪 ， 绿 色 办 公 


节能 、 无 噪 的 TC 部 署 ， 有 效 地 解决 了 密集 办 公 环 境 的 温度 和 噪音 问 

题 。TC 让 办 公 室 噪音 从 50 分 贝 降低 到 10 分 贝 ， 办 公 环 境 变 得 更 加 安 

静 。TC 和 液晶 显示 器 的 总 功 耗 大 约 60W 左 右 ， 终 端 低能 耗 可 以 有 效 地 
减少 降温 费用 。 


资源 弹性 ， 复 用 共享 


” 资源 弹性 ， 在 云 接 入 桌面 环境 下 ， 所 有 资源 都 集中 在 数据 中 
心 ， 可 实现 资源 的 集中 管控 ， 弹 性 调度 。 


” 资源 利用 率 提 高 ， 资 源 的 集中 共 圣 ， 提 高 了 资源 利用 京 。 传 统 
PC 的 CPU 平均 利用 率 为 5% 一 20%， 在 云 接 入 桌面 环境 下 ， 云 数据 
中 心 的 CPU 利用 率 可 控制 在 60% 左 右 ， 提 升 了 整体 资源 利用 率 。 


安装 便捷 ， 部 著 快 速 
云 接 入 桌面 解决 方案 具有 安装 便捷 、 部 署 快 速 的 特点 。 到 客户 现场 后 ， 


只 需 服务 硕 上 电 ， 进 行 云 接 入 蝎 面 软件 的 癌 导 式 安 装 ， 接 通 网 络 并 进行 
相关 业务 配置 即 可 进行 业务 发 放 ， 大 幅度 提高 了 部 效 效 率 。 














FA 


云 接 入 的 挑战 和 需求 ， 主 要 集中 在 如 何 应 用 虚拟 化 技术 为 终端 用 户 提供 
资源 访问 的 便利 性 、 安 全 性 以 及 用 户 体验 上 ， 通 过 分 析 这 些 典 型 技术 的 
特点 ， 可 以 发 现 他 们 仍然 存在 如 下 一 些 难以 解决 的 问题 。 


外 设 兼容 性 


在 云 接 入 桌面 虚拟 化 项 目 中 对 外 设 的 文 持 是 非常 普 届 的 ， 绝 大 多 数 虚 拟 
桌面 基础 架构 项 目 中 都 会 遇 到 用 户 对 外 设 的 需求 ， 但 有 时 也 非常 环 手 。 
众所周知 ， 外 设 在 云 终端 上 接 入 ， 在 后 端 做 桌面 识别 ， 这 就 涉及 将 具有 
电 霹 特性 的 硬件 设备 通过 网 络 传输 到 后 端的 桌面 中 ， 并 且 设 备 本 号 的 驱 
动 是 在 前 端 还 是 后 端 ， 都 需要 桌面 云 厂 家 考虑 ， 加 上 国内 外 设 的 多 样 性 
和 不 标准 性 ， 要 在 蝎 面 云 中 文 持 具有 多 样 性 复杂 性 的 外 设 ， 需 要 三 家 有 
独特 的 外 设 文 持 技术 。 


视频 体验 


云 接 入 呆 面 的 计算 和 存储 全 部 在 数据 中 心 ， 终 端 只 负 贡 键盘 鼠标 的 VO 
和 显示 的 输出 ， 此 时 云 架 面 的 传输 协议 就 显得 尤为 重要 。 普 通 办 公 呆 面 
的 传输 没有 什么 问题 ， 但 是 实际 上 用 户 可 能 有 各 种 各 样 的 业务 需求 ， 例 
如 视频 ， 这 类 业务 在 终端 果 面 就 可 能 出 现 画 面 不 流畅 ， 终 端 男 面 出 现 马 
赛 苑 ， 更 别提 播放 三 维 动画 了 了， 尤其 随 痢 果 面 互联 网 的 发 展 ， 很 多 揭 面 
虚拟 化 方案 需要 基于 互联 网 部 署 ， 而 给 予 互联 网 的 传输 效果 更 是 大 打折 
扣 。 这 要 求 果 面 云 厂 家 在 果 面 传输 协议 上 有 独特 的 通道 设计 ， 通 过 不 同 
的 通道 来 处 理 不 同 的 更 面 显示 ， 并 且 在 囊 宽 上 能 优化 处 理 。 


3D 应 用 


虚拟 化 果 面 固然 有 其 族人 之 处 ， 但 是 目前 主流 的 果 面 虚拟 化 技术 在 3D 
图 形 设计 方面 很 难 满足 客户 的 需求 ， 这 也 使 得 传统 虚拟 化 方 采 在 制造 行 
业 、 数 字 内 容 创作 等 行业 遇 到 了 难以 逾越 的 瓶颈 ， 再 好 的 解决 方案 如 果 
不 能 满足 用 户 的 实际 需求 也 是 空谈 。 


网 络 负载 压力 


局 域 网 一 般 不 会 存在 太 大 的 问题 ， 但 是 如 果 通 过 互联 网 就 会 出 现 很 多 技 
术 难 题 ， 由 于 桌面 虚拟 化 技术 的 实时 性 很 强 ， 如 何 降低 这 些 传输 压力 ， 
古 很 重要 的 一 坏 ， 虽然 干 兆 以 太 网 对 数据 中 心 来 说 是 一 项 标准 ， 但 还 没 
有 广泛 部 署 到 加 面 ， 目 前 还 达 不 到 虚拟 化 果 面 对 局 带宽 的 要 求 。 而 且 如 
打 用 户 使 用 的 网 络 出 现 问题 ， 更 面 虚拟 化 发 布 的 应 用 程序 不 能 运行 ， 则 
会 直接 影响 应 用 程序 的 使 用 ， 其 对 用 户 的 影响 也 是 无 法 估计 的 。 


安全 、 部 署 效率 和 用 户 体 验 是 移动 办 公 的 主要 挑战 















































移动 办 公 的 主要 挑战 如 图 7-1 所 示 。 


狂 战 1: 焉 系统 需要 更 安全 的 防护 挑战 2: 会 司 需 要 快速 部 着 业 务 





智能 设备 连接 到 企业 带 来 安全 问题 Rs , a 

智能 设备 连接 到 企业 带 来 TOP 安 全 问题 。 原 有 IE 类 应 用 (B/S 架构 ) 要 快速 无 损 地 迁移 到 移动 

个 人 /企业 数据 混合 / 泄 窗 | F 台 上 
移动 病 者 x 件 


。 原 有 C/S 类 应 用 要 快速 无 损 地 迁移 到 移动 平台 上 
。 要 支持 原 有 Office 类 文档 的 打开 ， 编 辑 操作 





。 支持 跨 平台 (i0S、Android、Windows)， 
挑战 3; 使 用 IE 敏感 类 、C/S 类 及 Office 应 用 
好 。 利于 手势 操作 体验 
和 | 移动 网 络 下 访问 体验 保障 





SQL injection 
DDoS 攻击 /恶意 破坏 恒 恩 % 











资料 来 源 : Mocana-Mobile & Smart Device Security Survey 
图 7-1 移动 办 公 的 主要 挑战 
云 接 入 的 关键 需求 


随 着 企业 的 发 展 ， 分 支 机 构 、 办 事 处 、 连 锁 店 等 企业 扩大 经 营造 成 员工 
分 布 三 ， 需 要 一 种 便捷 、 灵 活 和 其 有 跨 地 域 性 的 办 公 方 案 ， 使 员工 无 论 
吴 在 何 处 ， 都 能 实现 员工 与 员工 之 间 、 企 业 与 业务 伙伴 之 间 的 相互 交流 
和 沟通 。 各 级 政府 机 构 服 务 观念 在 不 断 提 高 ， 也 希望 通过 移动 化 的 方式 
提高 办 公 效 率 ， 降 低 管 理 成 本 ， 提 升 服 务 质量 。 


市 场 人 员 遍 布 全 国 各 地 ， 没 有 固定 的 办 公 场 所 ， 他 们 每 次 访问 内 部 系统 
的 终端 和 网 络 的 地 方 都 不 一 样 ， 没 有 局 域 网 环境 ， 他 们 无 法 使 用 CRM 
来 更 新 客户 信息 ， 也 无 法 利用 OA 系统 来 实现 办 公 自 动 化 。 


公司 领导 经 常 出 差 办 公 ， 在 火车 站 、 飞 机 场 等 地 方 随时 需要 查看 、 调 
用 、 审 批 内 部 的 资料 文档 ， 并 知道 业务 进展 及 生产 线 的 进度 ， 需 要 随时 
随地 都 能 访问 内 部 办 公 系 统 及 生产 管理 系统 的 解决 方案 。 


政府 工作 人 员 驻 点 调查 路 况 信 息 、 各 分 局 等 的 数据 采集 等 ， 需 要 有 一 种 
方式 可 以 将 采集 到 的 重要 信息 及 时 传达 给 内 部 系统 。 


突 及 和 意外 情况 ， 能 在 事件 发 生 的 最 短 时 间 内 上 报 、 传 达 给 企业 内 部 的 
相关 人 员 ， 相 关 人 员 和 领导 层 能 不 受 地 点 的 限制 ， 快 速 、 及 时 地 对 突 友 














和 意外 情况 做 出 指示 和 决定 。 


随时 随地 办 公 ， 通 过 公 网 访问 企业 内 部 核心 信息 资源 ， 就 面临 着 非法 访 
问 、 信 息 贸 取 等 外 部 的 安全 威胁 ， 就 必须 有 相应 的 信息 安全 策略 ， 在 严 
格 防 止 企业 信息 资源 被 非法 鳃 取 的 同时 ， 对 合法 的 访问 要 提供 方便 。 


移动 性 对 后 PC 时 代 的 成 功 至 关 重 要 。 在 IT 组 织 希 望 满 足 终端 用 户 对 使 用 
各 种 设备 在 家 、 旅 途中 和 办 公 室 的 一 致 体验 要 求 的 同时 ，IT 基 础 设施 必 
须 确 你 业 务 计算 环境 安全 、 易 于 管理 并 具备 持续 合 规 性 。 


云 接 入 解决 方案 既 要 能 提高 终端 用 户 的 目 由 ， 双 不 能 削弱 IT 系统 控制 
力 ， 它 必须 以 下 面 三 条 关键 原则 为 基础 。 








” 简化: 将 终端 用 户 资 产 〈 包 括 操 作 系 统 、 应 用 和 数据 ) 从 计算 
小 环境 转变 为 集中 式 IT 托管 服务 。 


>” 管理 : 为 I 创 建 一 个 中 心 点 ， 用 于 路 公有 云 和 私有 云 实现 终端 
nn 
安全 级 别 。 








” 连接; 改善 终端 用 户 与 开 服 务 及 其 他 终端 用 户 的 连接 性 ， 且 终 
端 用 户 能 够 为 手 上 的 任务 自由 选择 最 合适 的 设备 和 应 用 。 


TF 可 团 检 
云 接 入 架构 如 图 7-2 所 示 。 


终端 侧 接 入 侧 云 数 据 中 心 侧 





TC( 瘦 客户 端 ) 办 公 应 用 企业 应 用 
智能 手机 BS 应 用 
PC 机 企业 数据 库 
Pad CS 应 用 
统一 策略 管理 平台 客户 系统 










5 (分 布 式 、 自 动 管控 ) 
| 加 虚拟 化 计算、 存储、 网 络 虚拟 化 ) 
关 加 速 | 
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计算 网 络 存储 安全 负载 均衡 





绿色 数据 中 心机 房 





图 7-2” 云 接 入 端 对 端 架构 


> 终端 侧 运行 各 种 终端 ， 在 任何 设备 上 随时 随地 访问 用 户 应 
用 、 桌 面 、 数 据 。 


” 接 入 侧 : 云 接 入 协议 ， 实 现 从 终端 到 云端 的 安全 接 入 、 加 密 传 
输 、 负 载 均 衡 、 流 量 控制 。 


” 云 数 据 中 心 人 出 : 云 接 入 统一 策略 管理 ， 提 供用 户 、 应 用 、 桌 
8 000 0 


A 
1 速 。 


” 办公 应 用 :常用 的 办 公 应 用 如 Windows 办 公 桌 面 ， 统 一 通信 协 
作 软 件 ，Web 浏 览 器 。 








> 企业 后 台 应 用 : 支持 企业 日 常 业 务 运 行 的 后 台 应 用 ， 如 
CRM/ERP/ 数 据 库 。 


7.3 去 书 ] 曲 开 J 7 





云 接 入 的 典型 应 用 就 是 我 们 最 第 见 到 的 果 面 云 。 


什么 是 果 面 云 ， 果 面 云 的 定义 是 :“ 可 以 通过 瘦 客 户 并 或 者 其 他 任何 与 
网 络 相 连 的 设备 来 访问 跨 平台 的 应 用 程序 以 及 整个 客户 果 面 。” 也 就 古 
说 我 们 只 需要 一 个 瘦 和 客户 并 设 备 ， 或 者 其 他 任何 可 以 连接 网 络 的 设备 ， 
通过 专用 程序 或 者 浏览 器 ， 束 可 以 访问 驻 留 在 服务 器 端的 个 人 困 面 以 及 
各 种 应 用 ， 并 且 用 户 体验 和 我 们 使 用 传统 的 个 人 电脑 是 一 模 一 样 的 。 


果 面 云 的 业务 价值 很 多 ， 除 了 上 面 提 到 的 随时 随地 访问 果 面 以 外 ， 还 有 
下 面 一 些 重要 的 业务 价值 。 


集中 化 管理 


在 使 用 传统 桌面 的 整体 成 本 中 ， 管 理 维护 成 本 在 其 整个 生命 周期 中 占 很 
大 的 一 部 分 ， 管 理 成 本 包括 操作 系统 安 闭 配置 、 升 级 、 修 复 的 成 本 ， 硬 








件 安 装配 置 、 升 级 、 维 修 的 成 本 ,数据 恢 复 、 备 份 的 成 本 ， 以 及 各 种 应 
用 程序 安装 配置 、 升 级 、 维 修 的 成 本 。 在 传统 桌面 应 用 中 ， 这 些 工 作 基 








本 上 都 需要 在 每 个 桌面 上 做 一 次 ， 工 作 量 非常 大 。 对 于 那些 需要 频繁 蔡 
换 、 更 新 困 面 的 行业 来 说 ， 工 作 量 就 更 大 了 。 例 如 对 于 培训 行业 来 说 ， 
他 们 经 第 需 要 配置 不 同 的 操作 系统 和 运行 程序 来 满足 不 同 培训 诬 程 的 雷 
要 ， 对 于 有 上 百 台 机 器 来 说 ， 这 个 工作 量 已 经 非常 大 了 ， 而 且 这 种 工作 
还 要 经 党 变化 内 容 。 


在 果 面 云 解决 方案 里 ， 管 理 是 集中 化 的 ， 卫 工程 师 通 过 控制 中 心 管理 成 
百 上 千 的 虚拟 桌面 ， 所 有 的 更 新 、 打 补丁 都 只 需要 更 新 一 个 “基础 镜 
像 ”。 对 于 上 面 所 提 到 的 塔 训 中 心 来 说 ， 管 理 维护 就 非常 简单 了 : 我 们 
只 需要 根据 谍 程 的 不 同 配置 几 个 基础 的 镜像 ， 然 后 不 同 的 培训 课程 的 学 
员 就 可 以 分 别 连 接 到 这 些 不 同 的 基础 镜像 ， 而 且 我 们 只 需 在 这 几 个 基础 
镜像 上 进行 修改 ， 只 要 重 局 虚拟 时 面 ， 学 员 束 可 以 看 到 所 有 的 更 新 ， 这 
样 就 大 大 节约 了 管理 成 本 。 

安全 性 提高 

安全 是 IT 工作 中 一 个 非常 重要 的 方面 ， 一 方面 各 单位 对 目 己 有 安全 要 


求 ， 另 一 方面 政府 对 安全 也 有 一 些 强制 要 求 ， 一 旦 违反 ， 后 果 非 常 严 
重 。 对 于 企业 来 说 ， 数 据 、 知 识 产权 就 是 他 们 的 生命 ， 例 如 银行 系统 中 

















的 客户 的 信用 卡 账号 ， 保 险 系统 中 的 用 户 详细 信息 ， 软 件 企业 中 的 源 代 
码 等 。 如 何 保护 这 些 机 密 数 据 不 被 外 泄 是 许多 公司 开 部 门 经 常 面临 的 一 
个 挑战 。 为 此 他 们 采用 了 各 种 安全 措施 来 保证 数据 不 被 非法 使 用 ， 例 如 
禁止 使 用 USB 设 备 ， 禁 止 使 用 外 面 的 电子 邮件 等 。 对 于 政府 部 门 来 说 ， 
数据 安全 也 是 非常 重要 的 ， 英 国 不 久 前 就 发 生 了 某 政府 官员 的 笔记 本 丢 
失 ， 结 果 保密 文件 被 记者 得 到 ， 这 个 官员 不 得 不 引咎 辞职 。 


在 桌面 云 解决 方案 里 ， 首 先 ， 所 有 的 数据 以 及 运算 都 在 服务 器 端 进行 ， 
客户 端 只 显示 其 变化 的 影像 ， 所 以 在 不 需要 担心 在 客户 端 出 现 非法 窃取 
资料 行为 ， 我 们 在 电影 里 面 看 到 的 商业 间谍 拿 着 U 盘 疯狂 地 拷贝 公司 商 
业 机 密 的 情况 再 也 不 会 出 现 了 。 其 次 ，IT 部 门 根据 安全 挑战 制作 出 各 种 
各 样 的 新 规则 ， 这 些 新 规则 可 以 迅速 地 作用 于 每 个 桌面 。 


应 用 更 环保 


如 何 保护 我 们 的 有 限 资 源 ， 怎 样 才能 消耗 更 少 的 能 源 ， 这 是 现在 各 国 科 
学 家 在 不 断 探索 的 问题 。 因 为 在 我 们 地 球 上 的 资源 是 有 限 的 ， 不 加 以 保 
护 的 话 很 快 会 陷入 无 资源 可 用 之 困境 。 现 在 全 世界 都 在 想 办 法 减少 碳 排 
放量 ， 为 之 也 采取 了 很 多 措施 ， 例 如 利用 风能 等 更 清洁 的 能 源 等 。 但 是 
传统 个 人 计算 机 的 耗 电量 是 非常 剑 人 的 ， 一 般 来 说 ， 每 台 传统 个 人 计算 
机 的 功 耗 在 200W 左 右 ， 即 使 处 于 空 内 状态 时 ， 耗 电量 也 至 少 在 100W 左 
右 ， 按 照 每 天 10 个 小 时 ， 每 年 240 天 工作 来 计算 ， 每 台 计 算 机 桌面 的 耗 
电量 在 480 度 左右 ， 一 个 具有 1 万 桌面 的 中 型 企业 ， 仅 PC 年 耗 电量 就 会 
达到 480 万 度 。 除 此 之 外 ， 为 了 冷却 这 些 计 算 机 在 使 用 中 产生 的 热量 ， 

我 们 还 必须 使 用 一 定 的 空调 设备 ， 这 些 能 量 的 消耗 也 是 非常 大 的 。 


采用 果 面 云 解决 方案 以 后 ， 每 个 瘦 客 户 疾 的 电量 消耗 在 16W 左 右 ， 只 有 
原来 传统 个 人 呆 面 的 8%， 所 产生 的 热量 也 将 大 大 减少 。 


总 拥有 成 本 减少 


IT 资产 的 成 本 包括 很 多 方面 ， 初 期 购买 成 本 只 是 其 中 的 一 小 部 分 ， 其 他 
还 包括 整个 生命 周期 里 的 管理 、 维 护 、 能 量 消耗 等 方面 的 成 本 ， 硬 件 更 
新 升级 的 成 本 。 从 上 面 的 描述 中 我 们 可 以 看 到 相 比 传统 个 人 果 面 而 言 ， 
果 面 云 在 整个 生命 周期 里 的 管理 、 维 护 、 能 量 消耗 等 方面 的 成 本 大 大 降 
低 了 ， 那 么 便 件 成 本 义 是 怎样 的 呢 ? 架 面 云 在 初期 硬件 上 的 投资 是 比较 
大 的 ， 因 为 我 们 要 购买 新 的 服务 器 来 运行 云 服 务 ， 但 是 由 于 传统 加 面 的 
更 新 周期 是 3 年 ， 而 服务 器 的 更 新 周期 是 5 年 ， 所 以 硬件 上 的 成 本 基本 相 


























当 。 由 于 软 成 本 的 大 大 降低 ， 而 且 软 成 本 在 TCO 中 占有 非常 大 的 比重 ， 
所 以 采用 云 蜗 面 方案 总 体 TCO 大 大 减少 了 。 根 据 Gartner 公 司 的 预计 ， 云 
桌面 的 TCO 相 比 传统 桌面 可 以 减少 40%。 


7.3.2 ” 虽 面 云 的 逻辑 架构 
桌面 云 解决 方案 包括 7 个 逻辑 部 分 : 云 终端 、 接 入 控制 、 桌 面 会 话 管 


理 、 云 资源 管理 及 调度 、 虚 拟 化 平台 、 运 维 管理 系统 和 硬件 ， 如 图 7-3 
所 示 。 





图 7-3 ”桌面 云 解 决 方案 逻辑 图 


云 终 站 


云 终 疹 是 在 远 问 用 于 访问 桌面 云 中 虚拟 更 面 的 特定 的 终端 设备 ， 包 括 妆 
终端 、 软 终端 软件 和 各 种 手持 终端 等 。 


接 入 控制 

接 入 控制 用 于 对 终端 的 接 入 访问 进行 有 效 控制 ， 包 括 接 入 网 关 、 防 火 
墙 、 负 载 均衡 器 等 设备 。 接 入 控制 设备 不 是 桌面 云 解决 方案 所 必需 的 组 
成 部 分 ， 可 以 根据 客户 的 实际 需求 进行 裁减 。 

桌面 会 话 管理 


桌面 会 话 管理 负责 对 虚拟 桌面 使 用 者 的 权限 进行 认证 ， 保 证 虚拟 条 面 的 
使 用 安全 ， 并 对 系统 中 所 有 虚拟 桌面 的 会 话 进行 管理 。 




















云 资 源 管 理 及 调度 


云 资 源 管理 是 指 根据 虚拟 昌 面 的 要 求 ， 把 桌面 云 中 各 种 资源 分 配给 申请 
资源 的 虚拟 更 面 ， 分 配 的 资源 包括 计算 资源 、 存 储 资 源 和 网 络 资源 等 。 
云 资源 调度 是 指 根据 桌面 云 系统 的 运行 情况 ， 把 虚拟 昌 面 从 负载 比较 高 
的 物理 资源 迁移 到 负载 比较 低 的 物理 资源 上 ， 保 证 整个 系统 物理 资源 的 
均衡 使 用 。 

虚拟 化 平台 

虚拟 化 平台 是 指 根据 虚拟 更 面 对 资源 的 需求 ， 把 昌 面 云 中 各 种 物理 资源 
虚拟 化 成 多 种 虚拟 资源 的 过 程 ， 这 些 虚 拟 资源 可 以 供 虚 拟 桌 面 使 用 ， 这 
些 资 源 包 括 计 算 资 源 、 存 储 资 源 和 网 络 资源 等 。 

硬件 


人 硬件 是 指 组 成 果 面 云 系统 相关 的 硬件 基础 设施 ， 包 括 服务 器 、 存 储 设 
备 、 交 换 设 备 、 机 架 、 安 全 设备 、 防 火 墙 、 配 电 设备 等 。 


运 维 管理 系统 

运 维 管理 系统 包括 桌面 云 的 业务 运营 管理 和 系统 维护 管理 两 部 分 ， 其 中 
业务 运营 管理 完成 桌面 云 的 开户 、 销 户 等 业务 发 放 过 程 ， 系 统 维护 管理 
完成 对 桌面 云 系统 各 种 资源 的 操作 维护 功能 。 

现 有 IT 系统 


现 有 IT 系统 指 已 经 部 署 在 现 有 网 络 中 对 和 更 面 去 有 集成 需求 的 企业 IT 系 
统 ， 包 括 AD (Active Directory) 、DHCP、DNS 等 。 


7.3.3 “” 果 面 云 典 型 应 用 场景 
1. 办 公 桌 面 云 解决 方案 
办 公 桌 面 云 是 指 企 业 使 用 桌面 云 来 进行 正常 的 办 公 活 动 〈《 如 处 理 邮件 、 


编辑 文档 等 ) ， 同 时 提供 多 种 安全 方案 ， 保 证 办 公 环 境 的 信息 安全 。 办 
公 冥 面 云 解决 方案 如 图 7-4 所 示 。 

















特点 


桌面 云 文 持 与 企业 已 有 的 IT 系统 对 接 ， 充 分 利用 已 有 的 IT 应 用 。 比 如 利 
用 已 有 的 AD 系统 进行 划 面 云 用 户 鉴 权 ; 在 桌面 云 上 使 用 已 有 的 IT 工作 
流 ; 通过 DHCP 给 虚拟 桌面 分 配 IP 地 址 ， 通 过 企业 的 DNS 来 进行 桌面 云 
的 域名 解析 等 。 
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图 7-4 ”办 公 桌 面 云 解 决 方案 











优势 


” 减少 投资 ,平滑 过 渡 : 充分 利用 已 有 的 IT 系统 设备 与 IT 应 用 ， 
减少 重复 投资 ， 做 到 平滑 过 渡 。 


= 可 靠 的 信息 安全 机 制 : 桌面 云 提供 多 种 认证 鉴 权 与 管理 机 制 ， 
保证 办 公 环 境 的 信息 安全 。 


2. 绿色 座席 解决 方案 
绿色 座席 解决 方案 如 图 7-5 所 示 。 


VoIP 或 TDM 


ICDCOMM 了 下 


HTTP 





CTI 平 台 / 业 务 系统 





座席 话机 终端 集中 管理 


终端 群 
图 7-5 ”绿色 座席 解决 方案 


AN 


多 数 企 业 用 户 部 车 的 呼叫 中 心 越 来 越 多 地 由 TDM 方 式 的 语音 解决 方案 
演进 到 采用 IP 语 音 解决 方案 。 


优势 


> 支持 平滑 迁移 : 完善 的 呼叫 中 心平 台 和 桌面 云 的 集成 方案 ， 平 
请 迁移 客 尸 原 有 呼叫 中 心 。 


” 快速 应 用 ， 优 质 语音 :提供 桌面 应 用 的 快速 啊 应 特点 和 优质 的 


语音 体验 。 

”~ 成 本 优化 : 同类 应 用 的 共享 部 署 模式 ， 大 大 节省 了 虚拟 桌面 实 
例 的 资源 占用 ， 方 便 维护 、 升 级 。 采 用 TC 终端 蔡 代 传统 PC， 降 低 
呼叫 中 心 的 噪音 、 电 力 消耗 ， 为 客户 打造 绿色 呼叫 中 心 。 

3. 营业 厅 和 解决 方 案 


企业 营业 厅 系 统 划 分 为 服务 人 员 使 用 的 桌面 系统 、 业 务 办 理 的 客户 使 用 
的 目 助 系统 。 营 业 厅 解决 方案 如 图 7-6 所 示 。 


营业 厅 ; 数据 中 心 


己 有 IT 系统 





图 7-6 ”营业 厅 解 决 方案 
特点 


营业 厅 解 决 方案 针对 营业 厅 分 布地 域 广泛 、 网 络 连接 质量 差异 大 的 特 
所 ， 改进 了 军 面 到 系统 的 调度 和 连接 优化 配置 ， 可 以 有 效 地 克服 网 络 内 
上 条 、 网 络 速率 抖动 等 恶劣 条 件 ， 保 证 企业 营业 厅 系 统 的 高 质量 服务 。 


营业 厅 解 决 方案 提供 即 插 即 用 的 外 设 终端 接 入 方案 ， 并 通过 预 置 的 具备 
广泛 兼容 性 的 驱动 插件 文 持 常 见 的 串口 、 并 口 、USB 口 外 设 ， 极 大 地 降 
低 了 企业 客户 部 署 的 难度 。 


根据 企业 营业 厅 的 业务 特点 ， 其 支持 多 种 果 面 系统 认证 方式 。 对 于 客户 
en 其 还 可 以 文 持 免 认 证 登录 更 面 系统 、 即 时 打印 服务 清 


优势 


营业 厅 和 解决 方 案 是 针对 各 种 营业 厅 推 出 的 解决 方案 ， 营 业 厅 解决 方案 具 
有 如 下 优点 。 


> 利 旧 原 有 IT 外 设 : 无 需 采 购 新 的 开外 设 ， 兼 容 常见 接口 外 设 ， 
并 可 对 于 外 设 驱 动 统一 部 署 和 管理 ， 保 证 即 插 即 用 的 客户 体验 。 


” 快速 软件 安装 部 署 ， 运营 软件 通过 云 平台 集中 推送 ， 做 到 大 规 











模 快 速 软件 安装 部 嗜 ， 便 于 企业 统一 新 业务 上 线 。 


” 支持 客户 自助 系统 : 支持 客户 自助 系统 在 桌面 云 的 部 署 ， 可 免 
认证 使 用 企业 为 客户 提供 的 系统 ， 可 即时 打印 服务 清单 等 。 


4. 网 管 维护 解决 方案 
网 管 维护 解决 方案 如 图 7-7 所 示 。 























图 7-7 ”网 管 维护 解决 方案 
特点 


昌 面 云 网 管 维护 解决 方案 针对 网 络 管理 的 特点 ， 定 制 了 多 种 接 入 终 问 的 
接 入 程序 ， 方 便 随 时 随地 地 接 入 进行 网 络 状态 分 析 与 网 络 故 障 定 位 ， 对 
于 重大 问题 ， 充 分 发 挥 企业 网 管 专家 的 经 验 优势 。 

桌面 云 网 管 维护 解决 方案 集成 多 种 网 管 适 配 解决 方案 ， 无 需 既 有 网 管 系 
统 进 行 改造 ， 即 可 实现 统一 管理 。 

优势 

0 下 优点 。 











” 无 颖 接 入 : 文 持 各 种 接 入 终端 ， 包 括 多 种 手持 终端 〈Android 
类 、Windows Mobile 类 ，iPhone OS 类 ,iPad OS 类 ，Embedded 
Linux 类 终端 ) ， 可 以 实现 无 缝 地、 随时 随地 地 接 入 以 及 远程 维护 
和 监控 ， 有 利于 企业 发 挥 维护 专家 的 优势 。 


>” 广泛 支持 多 种 类 型 的 网 管 系统 : 支持 远程 维护 非 C/S、B/S 架 构 
的 网 管 系统 ， 使 用 近 端 观测 程序 ， 极 大 地 减少 现场 维护 需求 。 


“整合 零散 的 网 管 系统 : 企业 现 有 网 管 系统 无 需 改造 ， 通 过 桌面 
云 系 统 即 可 以 实现 网 络 的 全 集中 管理 ， 提 高 网 管 维护 效率 。 








移动 办 公 是 云 接 入 的 男 一 种 常见 的 典型 应 用 。 
移动 办 公 与 移动 办 公 系 统 


移动 办 公 也 称 移动 OA， 是 指 利用 手机 、PDA 或 笔记 本 电脑 等 移动 终端 
通过 无 线 网 实现 移动 办 公 的 移动 信息 化 手段 ， 移 动 办 公 软 件 是 实现 移动 
办 公 的 软件 应 用 系统 ， 它 使 得 移动 办 公 人 员 控 脱 时 间 和 场所 局 限 ， 随 时 
tA 
业 歼 苍 增 长 。 


移动 办 公 是 当今 蚤 速 及 展 的 通信 业 与 开业 交融 的 产物 ， 它 将 通信 业 在 沟 
通 上 的 便捷 、 在 用 户 上 的 规模 ， 与 IT 业 在 软件 应 用 上 的 成 熟 、 在 业务 内 
容 上 的 丰富 ， 完 美 结合 到 了 一 起 ， 使 之 成 为 继 电 脑 无 纸 化 办 公 、 互 联网 
远程 化 办 公 之 后 的 新 一 代办 公 模 式 。 这 种 最 新 潮 的 办 公 模 式 ， 通 过 在 手 
机 、Pad 上 安装 企业 信息 化 软件 ， 使 得 手机 、Pad 也 具备 了 和 电脑 一 样 的 
办 公 功 能 ， 而 且 它 还 摆脱 了 必须 在 固定 场所 固定 设备 上 进行 办 公 的 限 
制 ， 对 企业 管理 者 和 商务 人 士 提 供 了 极 大 的 便利 ， 为 企业 和 政府 的 信息 
化 建设 提供 了 全 新 的 思路 和 方 同 。 它 不 仅 使 得 办 公 变 得 随心 、 轻 松 ， 而 
且 借助 手机 通信 的 便利 性 ， 使 得 使 用 者 无 论 吴 处 何 种 紧急 情况 下 ， 都 能 
高 效 、 迅 捷 地 开展 工作 ， 对 于 突 发 性 事件 的 处 理 、 应 急性 事件 的 部 晋 有 
极为 重要 的 意义 。 


移动 办 公 系 统 ， 是 一 套 建 立 以 手机 等 便携 终端 为 载体 实现 的 移动 信息 化 
系统 ， 系 统 将 智能 手机 、 无 线 网 络 、OA 系 统 三 者 有 机 结合 ， 实 现 与 任 


























何 办 公 地 点 和 办 公 时 间 的 无 缝 接 入 ， 提 高 了 办 公 效 率 。 它 可 以 连接 客户 
原 有 的 各 种 IT 系统 ， 包 括 OA、 邮 件 、ERP 以 及 其 他 各 类 个 性 业务 系 
统 ， 可 通过 手机 操作 、 浏 览 、 管 理 公 司 的 全 部 工作 事务 ， 同 时 提供 一 些 
无 线 环 境 下 的 新 功能 。 其 设计 目标 是 帮助 用 户 摆脱 时 间 和 空间 的 限制 ， 
随时 、 随 地 、 随 意 地 处 理工 作 ， 提 高 效率 、 增 强 协作 。 


移动 办 公 的 意义 


移动 办 公 是 一 种 新 型 的 低 矶 办 公 模 式 ， 能 为 企业 和 社会 节约 资源 ， 减 少 
废气 排放 。 


移动 办 公 是 一 种 无 纸 化 低 克 办 公 模 式 。 移 动 办 公 系 统 通 党 能 支持 pdf、 
jpg、doc、xXls 等 文件 格式 ， 这 些 文件 格式 基本 徐 新 了 大 多 数 企 业内 的 文 
件 审批 格式 。 现 在 ， 领 导 使 用 手机 等 移动 终端 即 可 打开 各 种 待 审核 和 符 
审批 公文 ， 远 程 进行 批复 。 业 务 人 员 在 与 客户 会 谈 前 总 是 需要 先 打 印 出 
各 种 准备 资料 ， 而 在 使 用 装 有 移动 办 公 系 统 的 手机 端 之 后 ， 只 需 在 会 谈 
期 间 根 据 需 要 随时 进入 公司 系统 进行 查阅 ， 同 时 运用 PPMEET 等 相关 视 
频 会 议 软件 进行 会 议 的 召开 。 


移动 办 公 是 一 种 电能 消耗 极 少 的 低 碳 办 公 模 式 。 与 大 约 每 小 时 消耗 0.2 
一 0.3 度 电 的 PC 相 比 ， 手 机 消耗 的 电量 几乎 可 以 忽略 不 计 。 企 业 是 电能 
消耗 大 户 ， 对 于 移动 办 公 任 务 较 多 的 企业 来 说 ， 通 过 移动 办 公 每 月 可 
约 的 电量 将 是 一 个 不 小 的 数字 ， 同 时 可 为 社会 节约 电力 资源 。 


移动 办 公 大 大 减少 了 用 户 在 交通 工具 所 需 的 汽 某 油 等 燃料 方面 的 消耗 ， 
同时 减少 含有 大 量 二 氧化 矶 气体 的 尾气 排放 。 这 是 一 种 典型 的 污染 物 排 
放 少 的 低 碳 办 公 方 式 。 业 务 型 员工 和 领导 移动 办 公 任 务 重 ， 在 外 忙碌 了 
一 天 之 后 往往 还 需要 返回 公司 ， 处 理 一 些 收 尾 的 工作 ， 例 如 将 业务 信息 
录入 系统 ， 碍 询 最 新 的 通知 公告 等 。 现 在 ， 移 动 办 公 系 统 省 去 了 用 户 返 
回 公司 的 必要 ， 大 大 减少 了 乘坐 交通 工具 所 需 的 燃料 方面 的 消耗 。 

如 今 ， 移 动 办 公 已 经 不 仅 是 一 种 节约 能 源 、 减 少 二 氧化 矶 污染 的 低 碳 办 
公 模 式 ， 还 是 提高 员工 办 公 效 率 、 提 高 企业 综合 竞争 力 、 提 升 公 众 形 象 


的 一 种 手段 。 


7.3.5 移动 办 公 的 逻辑 架 松 




















主流 解决 方案 : 原生 应 用 与 远程 应 用 


图 7-8 对 比 了 两 种 主流 的 移动 办 公 解 决 方案 ， 我 们 可 以 从 中 看 出 ， 远 
程 应 用 在 安全 、 维 护 成 本 、 上 线 周期 等 方面 具有 明显 优势 ， 在 离线 使 


用 、 移 动 允 公 体验 方面 稍 显 
更 加 适用 于 高 安全 要 求 、 


图 7-9 





逊色 。 由 此 可 见 ， 远 程 应 用 模式 的 移动 办 公 
快速 迁移 等 场景 。 
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2. 居于 这 无 扣 移动 应 用 





1 操作 体 


原生 应 用 中 中 商 中 高 求 
满足 网络 条 和 的 场 晤 


图 7-8 主流 移动 办 公 方 案 对 比 


为 移动 办 公 方 案 全 景 图 ， 图 中 应 用 虚拟 化 (SBC) 被 公认 为 移 
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移动 办 公 解 决 方案 
图 7-10 ”为 SBC 移 动 办 公 解 决 方案 ， 














图 7-9 ”移动 办 公 方 案 全 景 图 
(远程 应 用 模式 SBC) 


加 企业 用 户 提 供 一 个 应 用 与 数据 集 


中 管理 与 发 布 平台 ， 管 理 员 用 户 可 以 分 别 通 过 管理 员 Portal 进 行 应 用 管 
理 、 数 据 管 理 、 用 户 管理 、 服务 管理 。 同 时 ， 集 成 商 或 企业 IT 部 门 可 以 
通过 开放 API 进 行 二 次 开发 。 
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图 7-10 ”移动 办 公 应 用 集成 平台 


7.3.6 从 解决 方案 的 特点 
移动 办 公 解 决 方案 具有 的 特点 如 下 所 示 。 
病 到 端 数 据 安全 防护 ， 使 企业 更 聚集 于 业务 发 展 


并 文档 在 线 编辑 ， 无 法 保存 到 客户 濡 本 地 ， 着 操作 超时 ， 则 会 人 
并 。 


” 链 路 层 端 到 端 加 密 ， 保 障 传输 安全 。 








> 用 户 鉴 权 。 

” 企业 资源 访问 控制 。 
” 文档 与 应 用 分 离 
” 应 用 进程 间隔 离 。 
” 应 用 层 软件 网 关 。 
一 键 式 安装 部 嗜 








0 


” 配置 简单 ， 目 动 时 间 同 步 ， 文 持 远程 配置 、 远 程 定 位 。 
” 移动 应 用 快速 上 线 ， 后 人 台 无 需 修 改 。 

” 移动 应 用 快速 升级 ， 客 户 问 无 需 升 级 。 

出 众 的 用 尸体 验 

” 定制 化 的 快捷 工具 栏 。 

> 拍照 插入 文档 。 

触摸 可 编辑 放大 镜 。 

” 自动 弹出 键盘 、 自 动 深 屏 。 





| 


”分 区 域 深 屏 。 

> 便捷 的 任务 管理 。 

资源 调度 最 优化 

”网关 负载 均衡 。 

” 应 用 服务 器 负载 均衡 。 

通过 广域网 加 速 技术 ， 提 升 应 用 访问 速度 
”TCP 协 议 优 化 。 

” 实时 流 压缩 。 


” 绘图 指令 重 定 问 。 


> 数据 缓存 。 
> 云 模式 + 广域网 加 速 技术 大 幅 提 升 应 用 访问 速度 。 
7.4 云 接 入 的 关键 拉 术 
7.4.1 桌面 云 协 议 简介 


在 目前 云 接 入 领域 的 关键 技术 主要 是 桌面 云 的 接 入 协议 技术 ， 目 前 业界 
知名 的 有 微软 的 RDP 协 议 、 思 杰 的 ICA、 红 帽 的 Spice 协 议 、 华 为 HDP 协 
议 〈 我 们 指 的 接 入 协议 关键 技术 并 非 仅 指 通信 协议 本 身 ， 还 包含 协议 服 
务 器 端的 实现 与 客户 端的 实现 ) 。 桌 面 协 议 包 括 具体 的 远程 显示 、 远 程 
控制 、 远 程 音频 、 远 程 外 设 等 关键 技术 ， 而 这 些 技术 的 实现 具有 很 大 的 
难度 ， 所 以 我 们 认为 桌面 云 协议 是 云 接 入 最 为 关键 的 技术 。 























从 表面 上 来 看 ， 桌 面 云 高 效 远 程 显示 为 一 个 较为 简单 的 技术 ， 通 过 操作 
系统 接口 来 抓 取 屏 幕 内 容 ， 再 经 过 一 定 的 压缩 处 理 即 可 在 客户 端 显示 服 
务 右 问 的 屏幕 内 容 。 例 如 我 们 常用 的 VNC (Virtual Network 
Computing ) 就 属于 这 一 类 型 的 实现 ，VNC 也 有 具有 一 些 手 段 降低 带宽 ， 
但 是 我 们 发 现 ， 如 果 与 Citrix ICA、Microsoft RDP 进 行 比 较 ，VNC 在 带 
宽 方 面 的 劣势 非常 明显 。 


这 些 高 性 能 的 有 果 面 云 协议 中 屏幕 显示 基于 什么 原理 ? 他 们 的 实现 有 什么 
Su 事实 上 他 们 在 实现 的 架构 上 比较 类 似 ， 都 是 基于 普通 计算 机 的 显 
示 原 理 。 


注 : 由 于 目前 如 面 云 主要 应 用 的 操作 系统 基本 都 是 微软 的 Windows 操 作 
系统 ， 本 文 将 直接 描述 Windows 平 台 的 实现 〈 见 图 7-11) 。 


我 们 需要 远程 看 到 显示 的 内 容 ， 束 好 像 将 机 器 的 显示 露 拉 到 远 问 一 样 。 
从 图 7-12 中 我 们 可 以 看 到 操作 系统 的 软件 层次 通过 操作 系统 ， 可 以 完全 
获取 到 显示 内 容 以 及 和 硬件 交互 的 为 "Windows 显 示 驱 动 程序 *。 如 采 
将 “Windows 显 示 驱 动 程序 ?发 往 显 卡 的 数据 传输 至 远程 瘦 终 端的 显卡 
上 ， 即 可 以 达到 远程 显示 的 效果 。 





























A 图 形 应 用 程序 2 图 形 应 用 程序 n 


Windows GDI 图 形 接口 /Direct X 图 形 接口 /OpenGL 图 形 接口 


Windows 图 形 子 系统 


Windows 图 形 驱 动 交 互 接 口 


Windows 显 示 驱 动 


图 7-11 计算 机 屏幕 显示 原理 


虚拟 机 Windows 操 作 系统 远 端 客户 机 


桌面 云 接 入 客户 端 


i 接口 /Di 到 形 接 接 ;> 
Windows GDI 图 形 接口 /Direct X 图 形 接口 /OpenGL 图 形 接口 不 过 图 尼 接 间 





长 


Windows 图 形 子 系统 本 地 显示 驱动 


本 地 量 卡 
Windows 图形 县 动 交 匡 按 呈 


桌面 云 虚拟 显示 驱动 
计算 机 显示 器 





图 7-12 ”桌面 云 内容 在 远 端 客户 端 显示 的 原理 


界 的 实现 通 第 会 为 运行 在 虚拟 化 平台 中 的 虚拟 机 安装 一 个 远程 





虚拟 显示 驱动 ， 通 过 虚拟 显示 驱动 来 融 性 能 地 获取 显示 的 图 形 指令 数 
据 ， 并 将 这 些 数据 传送 到 远程 客户 机 进行 显示 。 


通常 应 用 程序 会 通过 Windows 平 全 提供 接口 来 绘图 ， 这 些 图 形 接口 调用 
会 通过 Windows 图 形 子 系统 的 转换 来 调用 到 虚拟 显示 驱动 中 这 些 图 形 
接口 调用 我 们 暂且 称 为 图 形 指 令 ) ， 图 形 指令 内 部 的 参数 描述 了 图 形 程 
序 的 具体 显示 ， 这 些 数 据 可 以 被 传输 到 远程 客户 端 进行 重新 绘制 显示 。 


这 里 有 两 个 问题 。 


为 什么 不 使 用 Windows 平 台 的 接口 来 直接 获取 整个 屏 妖 数据 ， 压 缩 后 传 
输 到 客户 端 进行 显示 ， 而 是 要 实现 一 个 难度 更 高 、 更 复杂 的 虚拟 显示 驱 
动 来 获取 图 形 指令 来 进行 处 理 ? 


通常 情况 下 ， 显 卡 与 计算 机 上 的 接口 为 PCIE，PCIE 的 带宽 非常 之 高 ， 
16X 的 显卡 可 以 拥有 16GB/4s 巨 大 带宽 ， 而 我 们 客户 端的 网 卡 一 般 惑 
100MBPS 一 1000MBPS， 实 际 带宽 更 少 ， 如 果 远 程 客户 机 与 服务 器 端的 
距离 较 远 的 话 ， 平 均 每 用 户 的 带宽 可 能 不 到 1MBPS， 这 样 的 网 络 情况 与 
原始 的 显卡 PCIE 差 距 很 大 ， 怎 样 实现 远 程 显示 ? 


这 两 个 问题 的 答案 会 在 下 面 进行 解答 。 

(1) 2D 基 本 图 形 显 示 虽 面 

大 多 数 的 图 形 应 用 程序 都 是 2D 基 本 图 形 显示 程序 ， 如 Word、Excel、 
Outlook、Notepad、 杀 毒 软件 等 ， 通 常 我 们 普通 办 公 场 景 下 的 程序 都 为 
2D 图 形 程序 。 所 以 目前 昌 面 云 主要 的 场景 为 2D 显 示 场 景 ， 如 果 显 示 张 


动 仅仅 文 持 2D 显 示 ， 遵 从 微软 的 显示 驱动 架构 ， 可 以 实现 微软 定义 的 
XPDM (Windows XP display driver model) 显示 驱动 来 满足 需要 。 





























XPDM 架 构 是 微软 为 Windows Vista 之 前 的 Windows 版 本 定义 的 显示 驱动 
(Vista、WIN7 可 兼容 ) ， 目 前 在 桌面 云 场景 下 协议 服务 器 端 一 般 也 会 
实现 一 个 XPDM 张 动 ， 即 图 中 显示 张 动 与 视频 微型 端口 驱动 两 部 分 ， 该 
驱动 并 非 用 来 驱动 本 地 显卡 ， 而 是 获取 Windows 图 形 引 苟同 显 卡 发 送 的 
图 形 指令 数据 ， 并 传输 到 客户 端 进 行 重新 演 染 显示 。 通 名 在 更 面 协议 里 
面 我 们 仅 用 XPDM 驱 动 方式 来 支持 2D 应 用 ， 对 于 需要 3D 加 速 的 应 用 无 

能 为 力 ( 可 以 用 软件 实现 的 3D 泻 染 来 辅助 支持 3D 应 用 ， 但 是 性 能 

限 ) 。 服 务 器 端 获 取 的 这 些 图 形 指令 需要 的 数据 量 非常 大 ，100M 网 卡 








是 不 够 的 ， 所 以 需要 加 入 许多 优化 的 处 理 ， 通 常 的 优化 手段 具体 如 下 。 


”图像 数据 压缩 : 利用 各 种 图 像 压缩 算法 对 图 像 内 容 进行 有 损 或 
者 无 损 的 压缩 来 降低 带宽 。 








> ”指令 合并 图形 指 令 的 数量 有 时 候 会 非常 之 多 ， 通 过 合并 技术 
可 以 显著 降低 指令 数量 与 总 体 数据 量 。 


” 缓存: 通过 缓存 技术 减少 服务 器 与 客户 端 之 间 的 元 余数 据 区 
和 


当然 实际 厂商 的 技术 可 能 会 有 不 同 ， 且 优化 手段 更 多 ， 通 过 这 些 类 型 的 
优化 手段 ， 可 以 将 网 络 带宽 降低 百倍 其 全 更 多 。 


(2) 高 性 能 图 形 文 持 


高 性 能 图 形 指 的 是 需要 显卡 辅助 来 文 持 的 程序 ， 通 常 是 DirectX 或 者 
OpenGL 程 序 。 在 目前 的 桌面 云 场景 下 一 般 仅 文 持 普 通 办 公 ， 没 有 大 量 
部 蜀 高 性 能 图 形 的 能 力 ， 主 要 原因 是 加 面 云 的 部 团 还 处 在 初始 阶段 ， 企 
业 未 大 量 更 新 到 架 面 云 ， 高 性 能 图 形 的 加 面 云 虚 拟 机 成 本 也 更 高 ， 导 致 
更 面 云 总 体 的 技术 研发 投入 有 限 ， 在 普通 办 公 场 景 下 的 技术 基本 成 熟 ， 
但 是 高 性 能 图 形 方面 的 高 级 技术 还 有 竺 进一步 发 展 ， 最 近 各 厂商 加 大 了 
研发 投入 ， 如 VMware 的 vVSGA (Virtual Shared Graphics 
Acceleration) 、Citrix 的 OpenGL 加 速 组 件 、NVidia 的 VGX 等 GPU 虚拟 化 
技术 都 已 经 推出 。 当 然 目 前 在 高 性 能 图 形 方 面 ， 直 通 方式 更 加 通用 ， 拥 
有 更 好 的 兼容 性 与 性 能 ， 但 是 成 本 较 高 。 


GPU 直通 实现 方式 一 般 如 图 7-13 所 示 。 
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图 形 应 用 程序 1 图 形 应 用 程序 2 桌面 协议 服务 器 




















Windows GDI 图 形 接口 /Direct X 图 形 接口 /OpenGL 图 形 接口 





Windows 图 形 子 系统 





Windows 图 形 驱 动 交 互 接 口 













厂商 显示 驱动 


虚拟 化 平台 一 | 


| 显卡 YY | 
图 7-13 ”GPU 直通 实现 原理 


通过 虚拟 化 平台 的 直通 技术 可 以 将 显卡 直接 给 虚拟 机 使 用 ， 与 物理 机 接 
入 显卡 的 效果 基本 一 致 ， 在 虚拟 机 上 只 要 安装 了 对 应 显卡 的 显示 驳 动 ， 
显卡 束 可 以 为 这 个 虚拟 机 提供 高 性 能 图 形 的 能 力 。 果 面 云 服务 絮 端 程序 
将 捕获 昌 面 图 像 数 据 ， 来 文 持 远程 客户 端的 显示 。 这 个 方式 的 昌 面 岁 像 
处 理 方式 与 前 面 介绍 的 2D 昌 面 处 理 方 式 有 些 不 同 ， 具 体 细 节 不 进行 介 


绍 。 


简单 来 说 ，GPU 虚 拟 化 / 共 衬 能 够 将 一 个 物理 存在 的 显卡 分 享 给 多 个 虚 
拟 机 使 用 ， 每 个 虚拟 机 将 获得 高 性 能 图 形 处 理 的 能 力 。 


前 面 简单 地 介绍 了 一 下 2D 桌 面 支 持 时 经 党 使 用 XPDM 方 式 显 示 驱 动 架 构 
来 实现 更 面 云图 像 的 处 理 ， 但 是 实际 上 微软 在 Windows Vista 以 后 采用 了 
新 的 显示 驱动 架构 WDDM (Windows Display Driver Model) ， 如 图 7-14 
所 示 。 
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显示 微 端口 驱动 





图 7-14 ”Windows Vista、Win7 显 示 架 构 


WDDM 显 示 驱 动 架构 有 三 部 分 ， 为 DirectX 服 务 的 用 户 态 模式 驱动 、 为 
OpenGL 接 口服 务 的 OpenGL ICD 驱 动 〈《 由 于 微软 主推 DirectX 接 口 ， 
OpenGL 只 是 可 选 组 件 ) 以 及 Display Miniport Driver (工作 在 内 核 态 负 
贡 与 便 件 交互 ) 。 


如 果 需 要 支持 GPU 虚 拟 化 技术 ， 通 常 需要 实现 一 个 虚拟 的 WDDM 显 示 
了 驱动， 来 获取 Windows 对 显示 驱动 产生 的 接口 调用 数据 ， 并 将 这 些 接 口 
调用 重 定 同 到 一 个 GPU 共享 组 件 上 来 进行 处 理 ， 该 GPU 共享 组 件 一 般 会 
存在 于 虚拟 化 平台 内 部 〈 也 有 可 能 是 存在 于 其 他 处 ) 。 处 理 后 将 得 到 深 
染 后 的 桌面 图 像 数据 ， 这 些 数 据 将 被 桌面 服务 器 端 通过 处 理发 送 给 客户 
端 ， I 也 可 能 是 其 他 图 像 编 码 方式 
( 见 图 7-15) 。 


为 什么 不 采用 与 2D 图 形 处 理 方式 一 致 的 图 形 指 令 重 定 同方 式 将 图 形 指 
令 重 定 问 到 客户 端 进行 泻 染 显示 ， 仪 在 客户 端 安 装 一 个 相对 低 性 能 的 显 
卡 ? 因为 2D 图 形 指令 进行 一 系列 的 优化 处 理 ， 带 宽 可 以 呈 100 倍 以 上 地 
降低 ， 仅 仅 1MBPS 以 内 的 带宽 即 可 以 满足 普通 办 公 的 场景 需求 ， 但 是 条 
用 3D 应 用 去 支持 则 难度 很 大 ， 目 前 还 没有 技术 可 以 将 3D 图 形 指 令 重 定 
回 融 宽 降 低 到 如 此 低 的 程度 。 
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显卡 


图 7-15 ”GPU 技术 








多 媒体 视频 播放 器 对 昌 面 云 来 说 是 一 个 挑战 ， 如 用 户 体 验 、 首 视频 同 
步 、 带 宽 等 。 目 前 在 桌面 云 文 持 多 巡 体 视频 一 般 有 两 种 方式 ， 一 种 是 将 
服务 器 端 的 多 媒体 视频 播放 器 的 图 像 进行 重新 视频 编码 ， 将 视频 编码 传 
输 到 客户 端 进行 解码 显示 ; 男 外 一 种 为 视频 重 定 问 方式 ， 一 般 通 过 捕获 
播放 器 需要 播放 的 视频 编码 流 ， 直 接 将 视频 编码 流 发 送 到 客户 问 进 行 解 
码 显 示 。 很 明显 ， 第 二 种 视频 重 定 癌 方式 看 上 去 效率 更 高 ， 服 务 器 少 了 
视频 解码 与 重新 编码 的 资源 消耗 ， 但 是 实际 上 这 种 方式 非常 受 限 ， 无 法 
得 到 广泛 的 支持 〈 见 图 7-16) 。 


第 一 种 方式 由 于 在 桌面 虚拟 机 中 的 播放 融 将 视频 进行 了 解码 ， 这 里 会 有 
较 大 的 解码 CPU 资源 消耗 ， 在 对 视频 区 域 进行 编码 时 消耗 更 大 ， 这 样 将 
降低 一 个 服务 器 能 够 文 持 虚拟 机 数量 的 密度 。 必 外， 对 视频 区 域 的 识别 
也 是 一 个 重要 的 技术 点 ， 通 常会 通过 识别 刷新 频率 超过 一 定 帧 率 的 图 像 
变更 区 域 来 识别 。 


第 二 种 方式 由 于 仪 仅 在 服务 器 端 截 获 生 解码 的 视频 码 法 并 传输 到 客户 站 
进行 解码 显示 ， 对 服务 器 端的 开销 较 小 ， 目 前 比较 流行 的 技术 为 针对 
MediaPlayer 文 持 的 多 媒体 重 定 回 技 术 。 但 是 该 扩 术 在 国内 的 实用 性 并 不 














高 ， 毕 竟 国 内 很 少 使 用 MediaPlayer 播 放 多 媒体 文件 ， 所 以 第 二 种 方式 实 
际 比较 受 限 。 当 然 技术 也 在 发 展 ， 对 其 他 播放 器 能 够 支持 的 多 媒体 重 定 
问 技 术 相 信 后 续 也 会 出 现 ， 这 将 降低 对 服务 需 端 的 资源 消耗 。 


播放 器 播放 视频 文件 播放 器 播放 视频 文件 
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分 析 桌 面 中 的 视频 区 域 传输 到 客户 端 
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图 7-16 ”服务 器 端 解 码 视频 播放 《〈 左 ) 与 多 媒体 重 定向 〈 右 ) 原理 
7.4.4 去 协议 3 N 时 延 音 频 


0 
7-17) 。 









音频 程序 1( 放 音 ) 音频 程序 2( 录 音 ) 
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Windows 音 频 子 系统 
| ’ 小 桌面 3 ~ se 机 
a a 桌面 云 客户 端 : 解 

音频 驱动 = 压 /压缩 处 理 


图 7-17 桌面 云 音频 输入 输出 实现 原理 


通常 桌面 协议 服务 器 端 可 以 在 虚拟 机 里 面 实现 一 个 音频 驱动 ， 音 频 驱 动 
会 与 Windows 的 音频 子 系统 〈 音 频 引 擎 ) 进行 交互 。 在 放 首 阶段 ， 首 频 
驱动 将 收 到 Windows 音 频 子 系统 发 送 过 来 的 音频 数据 ， 经 过 压缩 处 理 后 
传输 到 桌面 云 客 户 咒 ， 客 户 端 进行 解码 并 进行 放 音 。 在 录音 阶段 ， 客 户 
端 将 获取 客户 并 本 地 的 录 首 数据 ， 并 将 数据 进行 压缩 后 传输 到 服务 器 
端 ， 服 务 器 端 进行 解码 后 由 音频 驱动 返回 给 Windows 首 频 子 系统 。 由 于 
音频 对 延 时 非常 敏感 ， 整 个 过 程 要 关注 对 延 时 的 控制 。 

































































在 通用 的 系统 上 ， 常 用 的 外 设 种 类 有 USB 外 设 、 并 口外 设 、 串 口外 设 
等 ， 目 前 来 看 USB 外 设 占 据 主 流 ， 解 决 USB 外 设 的 文 持 即 可 满足 目前 最 
为 流行 的 外 设 硬 件 文 持 。 


实现 该 部 分 关键 技术 需要 先 认识 目前 传统 USB 外 设 工作 的 原理 〈 见 图 7- 
18) 。 
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图 7-18 USB 实现 原理 示意 图 


从 图 7-19 可 以 了 解 到 ， 所 有 USB 外 设 的 正常 工作 在 软件 层面 依赖 的 是 

USB 总 线 驱 动 。 一 个 应 用 需要 使 用 USB 外 设 必 须 与 USB 设 备 驱动 进行 交 

互 ， 而 设备 驱动 的 工作 完全 依赖 USB 总 线 驱 动 来 交互 USB 设 备 数据 ， 与 

硬件 的 交互 都 是 由 总 线 驱 动 来 代理 完成 的 。 从 我 们 的 理解 来 看 ， 从 USB 

总 线 驱 动 入 手 是 软件 层面 最 合适 的 方式 ， 将 USB 总 线 驱 动 与 本 地 硬件 的 

| 转化 为 本 地 USB 总 线 驱 动 与 远程 客户 机 USB 硬 件 总 线 的 交 
( 风 图 7-19) 。 
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图 7-19 ”桌面 云 USB 外 设 支 持原 理 
过 在 虚拟 机 内 部 实现 虚拟 USB 总 线 驱动 可 以 与 客户 端的 硬件 设备 进行 















































通信 交互 ， 交 互 也 不 是 直接 的 通信 ， 而 需要 在 客户 端 上 开发 一 个 虚拟 

USB 设 备 驱 动 ， 通 过 虚拟 化 USB 设 备 驱 动 与 客户 机 的 USB 总 线 驱 动 进 行 
交互 。 当 有 一 个 设备 插入 时 ， 客 户 机 的 USB 总 线 会 发 现 一 个 新 设备 插 

入 ， 此 时 将 启动 一 份 虚 拟 化 USB 设 备 驱 动 的 实例 ， 如 果 有 多 个 设备 需要 
同时 被 重 定向 时 ， 需 要 多 份 虚拟 USB 设 备 驱 动 实例 运行 在 客户 端 上 。 而 
设备 对 应 的 真实 USB 设 备 驱 动 安 装 并 运行 在 虚拟 机 中 ， 与 虚拟 机 USB 总 
线 驱 动 进行 交互 ， 这 样 对 虚拟 机 中 的 USB 设 备 驱 动 来 说 并 没有 太 大 感 

知 ， 对 应 用 程序 也 没有 太 大 感知 ， 原 因 是 ， 远 程 的 这 种 数据 交互 会 带 来 
延 时 ， 有 些 设备 驱动 在 设计 的 时 候 考 虑 了 一 些 超时 的 处 理 。 


这 种 方式 表面 上 来 说 能 够 很 好 地 支持 各 种 USB 外 设 ， 但 是 实际 上 来 说 也 
有 可 能 存在 一 些 问 题 ， 一 是 很 难 非常 好 地 做 到 对 设备 的 兼容 ， 二 是 一 些 
设备 重 定 问 后 带宽 非常 之 大 而 无 法 被 使 用 ， 所 以 一 些 设备 无 法 正常 地 使 
用 USB 总 线 方式 来 实现 设备 的 重 定向 ， 比 如 摄像 头 ， 如 果 走 总 线 重 定 问 
的 方式 ， 带 宽 有 数 十 兆 ， 甚 至 更 多 ， 这 基本 无 法 实际 部 署 。 针 对 这 一 类 
型 的 设备 ， 一 般 会 单独 为 它 优化 来 使 其 可 以 满足 实际 商用 。 如 针对 摄像 
头 ， 我 们 可 以 采用 如 下 方式 实现 优化 ， 如 图 7-20 所 示 。 
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图 7-20” 摄像头 外 设 支 持原 理 


我 们 可 以 在 客户 端 通过 应 用 程序 级 别 的 接口 来 获取 摄像 头 的 数据 (一般 
为 位 图 数据 或 者 YUV 数 据 ) ， 再 将 数据 通过 视频 压缩 算法 (如 H.264) 
进行 压缩 处 理 ， 发 送 到 服务 器 端 ， 服 务 器 端 解 码 摄像 头 视频 数据 后 通过 
虚拟 摄像 头 提供 给 应 用 程序 使 用 。 有 了 视频 压缩 技术 支持 ， 这 种 基于 摄 
像 头 的 重 定向 技术 比 基 于 USB 总 线 的 重 定向 技术 带宽 下 降 数 十 倍 。 除 了 
摄像 头 类 型 的 设备 ， 其 他 类 型 的 设备 也 有 可 能 进行 特定 的 重 定向 处 理 ， 
这 取决 于 单独 实现 针对 这 类 型 设备 重 定向 的 价值 。 








前 面 介绍 了 桌面 云 协议 的 一 些 重要 的 关键 技术 实现 ， 这 些 技术 主要 运行 
于 虚拟 机 内 部 ， 包 括 显示 (2D、3D、 多 媒体 ) 、 音 频 、USB 外 设 、 键 
女 ， 除 了 这 些 还 存在 其 他 的 一 些 关 键 技 术 ， 另 外 目前 桌面 云 的 技术 也 在 
发 展 ， 肯 定 会 推出 新 的 技术 ( 见 图 7-21) 。 
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图 7-21 通常 桌面 云 技 术 实 现 原理 示意 图 


目前 的 关键 技术 实现 都 是 运行 于 虚拟 机 内 部 的 ， 也 就 是 说 这 些 技术 与 虚 
拟 化 平台 没有 关系 ， 通 常 桌面 云 协议 服务 器 端 也 可 以 安装 于 物理 机 器 上 
(例如 RDP 就 可 以 远程 连接 虚拟 机 或 者 物理 机 ) 。 这 个 实现 架构 有 与 虚 
拟 化 平台 或 者 硬件 平台 无 关 的 优势 ， 但 是 它 也 有 缺点 ， 如 整体 实现 完全 
需要 基于 操作 系统 来 实现 ， 支 持 Windows 的 实现 与 支持 Linux 的 实现 将 
存在 很 大 的 不 同 。 当 然 目 前 windows 是 绝对 主流 ， 所 以 各 桌面 云 商 业 厂 
商 主要 都 在 支持 Windows 操 作 系 统 。 红 帽 的 Spice 采 用 了 另外 一 套 实 现 架 
构 ， 这 种 实现 架构 能 够 做 到 绝 大 部 分 与 操作 系统 无 关 ， 也 就 是 说 它 可 以 
更 好 地 文 持 多 种 操作 系统 〈 见 图 7-22) 。 


Spice 的 架构 中 大 部 分 的 实现 都 在 虚拟 化 屋 ， 而 不 是 在 虚拟 机 中 ， 所 以 
Spice 提 供 了 对 Linux 桌 面 云 的 支持 。 为 什么 Spice 在 虚拟 机 中 还 提供 了 一 
个 虚拟 显示 驱动 ? 原因 是 如 果 不 提 供 显 示 驱 动 ， 它 的 性 能 会 很 差 ， 束 好 
像 如 果 你 有 一 人 台电 脑 安 装 了 显卡 ， 但 是 不 安 疾 显卡 对 应 的 驱动 ， 实 际 上 
无 法 使 用 这 个 显卡 ， 同 样 如 果 没 有 显示 驱动 的 加 速 Spice 虚 拟 显卡 ， 仅 
仅 工 作 在 VGA 的 模式 下 ， 则 无 法 获取 上 文中 提 到 的 图 形 指 令 ， 无 法 高 性 


























能 地 处 理 重 定向 图 形 显示 。 当 然 Spice 的 架构 还 有 其 他 独特 的 优势 ， 由 
于 工作 在 虚拟 硬件 上 ， 不 同 于 操作 系统 内 部 ， 它 还 可 以 不 依赖 虚拟 机 内 
部 的 网 络 与 客户 端 进行 通信 ， 这 样 可 以 防止 很 多 用 户 目 己 对 网 络 进行 更 
改 ， 造 成 泉 面 云 主 机 无 法 使 用 的 情况 ， 它 还 可 以 在 开机 启动 过 程 中 看 到 
整个 系统 启动 的 过 程 ( 虚 拟 机 内 部 的 时 面 协 议 要 等 待 操作 系统 启动 后 才 
能 连接 ) ， 这 些 都 是 Spice 的 优势 。 当 然 Spice 的 方式 也 有 一 些 明 显 的 缺 
点 ， 它 和 KVM 虚 拟 化 平台 强 绑 定 ， 目 前 官方 无 法 文 持 其 他 虚拟 化 平 

人 台 ， 无 法 文 持 物理 主机 接 入 ， 由 于 它 的 主要 实现 实体 在 虚拟 硬件 层 ， 一 
些 针 对 Windows 的 桌面 协议 优化 无 法 文 持 〈 或 者 文 持 付出 的 代价 更 
大 ) ， 如 多 媒体 重 定 同 、 摄 像 头 重 定 同等 ， 也 无 法 像 RDP 一 样 可 以 文 持 
Windows Server 操 作 系 统 多 用 户 的 接 入 。 两 种 实现 方式 各 有 优 缺 点 ， 目 
前 来 看 主流 实现 以 基于 Windows 操 作 系统 层 实现 的 桌面 协议 为 主 。 
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图 7-22” Spice 实现 原理 示意 图 


无 论 是 基于 Windows 操 作 系 统 层 实现 各 种 驱动 ， 还 是 基于 Spice 在 虚拟 便 
件 层次 实现 各 种 虚拟 硬件 ， 其 实 都 是 希望 在 底层 将 原本 属于 本 地 的 交互 
转换 为 远程 的 交互 ， 而 屏幕 显示 的 效果 与 本 地 交互 相同 。 这 种 转换 涉及 
显示 重 定 同 - 用 户 视 觉 、 首 频 重 定 同 -用 户 昕 训 、 键 鼠 重 定 同 -用 户 触觉 、 

外 设 重 定 同 -各 种 外 设 使 用 ， 目 的 是 利用 一 个 简单 的 条 面 云 终端 蔡 代 PC 
物理 机 为 用 户 服务 ， 并 且 需 要 非常 高 的 用 户 体验 ， 包 括 用 户 操作 延 时 、 

昌 面 云 显 示 质 量 、 视 频 质 量 与 流畅 度 、 音 频 延 时 与 质量 、 传 输 带 宽大 小 
等 。 整 个 昌 面 云 的 实现 技术 涉及 类 别 非常 多 ， 包 括 各 种 虚拟 驱动 /虚拟 

硬件 〈 显 示 、 音 频 、 键 鼠 、USB) 、 各 种 图 形 算法 、 音 频 算 法 、 视 频 算 
法 、 带 宽 优 化 、 数 据 去 重 等 ， 所 以 蝎 面 云 协议 的 技术 难度 较 大 、 门 槛 较 



































高 ， 可 提供 商用 解决 方案 的 也 仅仅 几 家 公司 。 
7.5” 云 接 入 的 发 展 趋 


7.5.1 云 接 入 的 未 来 发 展 


如 图 7-23 所 示 ， 云 接 入 未 来 在 云端 提供 各 种 果 面 、 应 用 、 数 据 ， 统 一 空 
间 : 


> 各 种 设备 无 颖 接 入 
> 跨 平台 提供 一 致 的 用 户 体验 ; 
> 企业 应 用 商店 及 统一 门户 ， 聚 合 各 种 “应 用 + 数据 + 桌面 ”。 


企业 应 用 商店 + 统一 门户 : 聚合 
“各 种 应 用 + 各 种 数据 + 各 种 桌面 ” 





图 7-23 ” 云 接 入 未 来 发 展 
平台 开放 化 
作为 基础 平台 ， 封 闭 架 构 带 来 不 兼容 性 ， 无 法 文 持 异 构 虚 拟 机 系统 ， 也 
难以 支撑 开放 合作 的 产业 链 需 求 。 随 着 云 计 算 时 代 的 来 临 ， 提 面 虚拟 化 


管理 平台 逐步 走向 开放 平台 架构 ， 多 种 三 家 的 虚拟 机 可 以 在 开放 的 平台 
架构 下 共存 ， 不 同 的 应 用 厂商 可 以 基于 开放 平台 架构 不 断 地 丰 是 云 应 








用 。 
连接 协议 标准 化 


桌面 虚拟 化 连接 协议 目前 有 VMware 的 PCoIP、Citrix 的 ICA、 微 软 的 
RDP、NComputing 的 UXP 等 。 多 种 连接 协议 在 公有 果 面 云 情况 下 ， 将 带 
来 终端 兼容 性 的 复杂 化 ， 终 端 将 需要 支持 多 种 虚拟 化 客户 端 软 件 ， 对 于 
幅 入 式 的 云 终 端 来 说 ， 限 制 了 客户 采购 的 选择 性 和 替代 性 。 


未 来 介面 连接 协议 标准 化 之 后 ， 将 解决 终端 和 云 平台 之 间 的 广泛 兼容 
性 ， 形 成 良性 的 产业 链 结构 。 


虚拟 化 客户 端 便 件 化 


当前 的 架 面 虚拟 化 和 应 用 虚拟 化 技术 对 于 富 媒 体 的 客户 体验 和 传统 的 
PC 终端 相 比 还 是 有 一 定 的 差距 的 ， 主 要 原因 是 对 于 2D/3D/ 视 频 /Flash 等 
富 媒 体 缺 少 硬件 辅助 虚拟 化 支持 。 


随 痢 虚拟 化 技术 越 来 越 成 熟 及 广泛 应 用 ， 终 问心 请 将 可 能 逐步 加 强 对 于 
虚拟 化 的 支持 ， 从 而 通过 硬件 辅助 处 理 来 提升 证 媒 体 的 用 户 体 验 。 特 别 
是 对 于 PAD、 知 能 手机 等 移动 终端 设备 ， 如 果 对 虚拟 化 指令 有 较 好 的 便 
件 辅 助 支持 ， 将 促进 虚拟 化 技术 在 移动 终端 的 落地 。 


7.5.2 VDI 


据 IDC 预 测 ， 昌 面 云 这 个 市 场 的 潜力 是 非常 大 的 。 随 着 人 们 对 果 面 虚拟 
化 好 处 认 知 的 提高 ， 以 及 对 桌面 虚拟 化 的 需求 的 提出 ， 相 关 技 术 的 不 断 
完善 ， 果 面 虚拟 化 必 将 普及 。 里 然 面 临 的 问题 很 多 ， 但 并 不 是 说 果 面 虚 
拟 化 将 束 此 止步 ， 还 没有 哪 种 拉 术 是 不 存在 潜在 缺陷 甚至 陷阱 的 。 当 人 
们 有 这 个 采 面 云 需 求 时 ， 一 切 问 题 都 不 再 成 为 问题 。 现 在 人 们 对 虚拟 化 
己 经 有 了 和 需求， 而 且 这 个 需求 是 不 断 深化 的 ， 目 前 已 经 有 不 少 企业 部 车 
了 VDI。 有 了 需求 束 有 了 市 场 ， 需 求 能 促进 技术 的 进步 ， 更 面 虚 拟 化 的 
普及 仅仅 是 一 个 时 间 问 题 。 蝎 面 云 的 前 景 是 非常 乐观 的 。 


存储 的 技术 发 展 ， 可 以 降低 整体 成 本 


在 VDI 要 保持 1: 1 的 磁盘 镜像 比例 ， 会 让 传统 服务 器 存储 的 成 本 高 郧 得 
让 人 止步 。 这 也 是 为 什么 YDI 部 闭关 注 非 持续 性 的 “共享 "镜像 ， 以 及 为 












































什么 VDI 采 用 仍然 处 于 边缘 地 带 。 现 在 ， 很 多 厂商 都 提供 块 级 别 、 单 个 
实例 主 存储 。 使 用 重复 数据 删除 技术 可 以 大 大 节约 整体 成 本 。 举 个 例 

子 ，5000 个 虚拟 昌 面 镜像 ， 完 整 复制 40G 大 小 加 上 一 个 2GB 的 交换 空间 
总 共 需 要 210TB 的 存储 容量 。 应 用 存储 数据 删除 技术 ， 它 被 压缩 到 小 于 
4TB， 一 个 4TB WO 弛 载 引 敬 可 以 支持 5000 个 果 面 。 这 意味 着 现在 可 以 创 
建 拥 有 上 百 个 用 户 的 VDI 环 境 ， 每 个 用 户 有 一 个 专门 的 磁盘 镜像 ， 而 只 
需要 以 前 购买 一 个 共享 镜像 系统 的 价格 。 


图 形 性 能 领域 的 技术 发 展 ， 用 户 应 用 体验 达到 PC 的 水 平 


另 一 个 重要 的 突破 是 图 形 性 能 领域 。 多 个 供应 商 现在 为 远程 VDI 主 机 服 
务 器 提供 插入 式 GPU 卡 ， 可 以 实现 卸载 进程 ， 并 对 远程 协议 显示 数据 流 
进行 编码 与 压缩 。 为 服务 器 添加 GPU 卡 意味 着 可 以 将 所 有 的 处 理 能 力 贡 
献 给 图 形体 验 ， 无 需 加 重 现 有 CPU 压力 而 牺牲 用 户 体验 。 这 些 插 卡 也 多 
许 GPU 虚 拟 化 ， 这 将 让 诸如 3D CAD、Photoshop 与 视频 编辑 应 用 能 够 通 
过 VDI 进 行 访问 。 


VDI: 在 你 身边 的 琳 面 


这 些 存 储 与 图 形 功 能 的 改进 意味 着 虚拟 果 面 基础 架构 现在 的 使 用 范围 比 
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首先 说 明 ， 笔 者 不 是 建议 果 面 的 未 来 就 是 VDI， 或 者 所 有 的 Windows 昌 
面 应 该 迁移 到 VDI。 在 过 去 几 年 里 ， 我 们 可 能 看 见 VDI 在 企业 昌 面 里 的 
市 份额 只 有 59% 一 10%。 现 在 VDI 可 以 支持 1: 1 持久 的 磁盘 映像 和 图 形 密 
集 应 用 ，VDI 将 在 企业 桌面 中 占据 40% 一 50% 的 份额 。 

7.5.3 DaaS 


DaaS 是 什么 ?其 指 将 Windows 时 面 和 应 用 以 云 服务 的 形式 同 用 户 交 付 。 
它 具 有 如 下 特性 ， 如 表 7-1 所 示 。 


表 7-1 DaaSs 特 性 


特性 说 明 


高 可 用 性 7x24 的 服务 保障 

可 移动 性 ”用户 可 以 通过 互联 网 随时 随地 接 入 昌 面 和 数据 

安全 定时 数据 备份 集中 管理 IT 以 构 保 证 企业 数据 安全 重要 数 
气 零 丢失 保证 

_ 爱 活 升 级 扩 无 需 竹 层 软件 升级 新 用 户 扩容 短 时 间 完 成 
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开 避 用 二 IT 预算 可 预期 无 软 便 件 投资 费用 SP 提供 专业 服务 和 文 


少 持 

IT 服务 商 部 署 DaaS 的 主要 驱动 力 为 以 下 几 点 : 
” 巨大 的 潜在 市 场 ， 提 供 壮 异化 服务 ， 新 的 便利 点 ; 
” 增强 用 户 粘性 ; 


带动 其 他 服务 〈 备 份 / 防 病毒 /企业 应 用 托管 /文件 存储 /数据 迁 
移 ) ; 


” 现 有 的 PC 外 包 市 场 大 约 300 亿 美元 〈 数 据 来 源 : Gartner) 。 
为 什么 需要 DaaS? 

~ 更 佳 的 桌面 体验 

。 不 同 的 设备 ， 一 样 的 桌面 体验 。 


。 无 需 关 机 ， 随 时 随地 进入 工作 状态 。 
。 统一 部 车 和 升级 应 用 软件 ， 更 快捷 。 


” 简单 易 用 的 虚拟 桌面 
。 目 助 申 请 ， 目 动 部 普 。 


。 在 线 文 付 ， 芯 即 可 用 。 
。 专业 级 的 运营 服务 。 





”投资 可 以 预期 


。 初始 投资 成 本 低 : 按 需 申请 ， 用 完 即 退 。 
。 运 维 成 本 低 : 无 需 目 己 运 维 。 
。 终端 成 本 低 : TC 更 换 周 期 长 ， 故 障 率 低 。 


” 数据 集中 管控 更 安全 


。 数据 集中 管控 ， 接 入 终端 无 保密 数据 。 
。 企业 租户 安全 隔离 ， 确 保 网 络 安全 。 
。 局 效 快捷 的 外 设 管控 策略 和 审计 机 制 。 


DaaS 的 典型 场景 

托管 (hosting) 模式 ， 适 用 于 政府 、 园 区 。 
混合 云 模式 ， 适 用 于 大 型 企业 /垂直 行业 。 
公有 云 服务 模式 ， 适 用 于 中 小 企业 /分 支 机 构 。 
7.5.4 移动 办 公 


伴随 着 智能 设备 以 及 3G、4G 网 络 的 莲 动 发 展 ， 企 业 移 动 办 公 方 式 问 
3A (Anyone Anywhere through Any Network Use Any Device to Do 
Anything) 发 展 的 趋势 已 经 十 分 明显 ， 大 量 企业 纷纷 升级 IT 基 础 设置 ， 
提升 办 公 效 紊 。 各 种 技术 方案 层出不穷 ， 各 领 风骚 。 


据 某 公司 提供 的 一 项 调查 报告 显示 ， 预 计 到 2020 年 ， 全 球 89% 的 企业 都 
将 采用 移动 办 公 的 工作 方式 ， 而 目前 有 24% 的 受 访 者 表示 已 经 全 面部 署 
了 移动 办 公 ， 为 有 38% 将 扩大 移动 办 公 的 部 署 规 模 ， 还 有 21% 的 受 访 者 
表示 预计 在 未 来 两 年 内 实现 移动 办 公 。 这 也 就 意味 着 移动 办 公 市 场 将 从 
2012 年 的 24% 迅 独 上 升 到 2014 年 的 83%， 年 复合 增长 率 高 达 869%。 


据 这 份 报告 显示 ， 北 美 地 区 的 移动 办 公 市 场 较为 领先 ，90% 的 企业 表示 
己 经 部 署 或 正在 扩大 部 署 移 动 办 公 解 决 方案 ， 紧 随 其 后 的 是 中 国 
(85%) ， 之 后 则 是 巴西 、 印 度 、 英 国 、 法 国 和 德国 ， 其 百分比 都 超过 
了 70%。 


这 些 数据 显示 移动 互联 网 时 代 的 到 来 。 移 动 办 公 为 何 受 到 这 么 多 国家 或 
地 区 用 户 的 青睐 呢 ? 此 报告 也 罗列 了 原因 ，73% 的 受 调查 者 表示 移动 办 





























公 方 式 能 够 使 工作 方式 更 加 灵活 ， 并 有 53% 的 受 调查 者 认为 这 让 出 兰 或 
者 旅游 更 加 方便 ，48% 的 受 访 者 表示 能 够 降低 办 公 场 所 的 费用 。 吸 引 
(47%) 和 留 住 (44%) 人才 也 是 企业 部 团 移 动 办 公 解 决 方案 的 驱动 因 
过 


移动 办 公 一 直 被 认为 是 最 理想 的 工作 方式 ， 对 企业 对 员工 能 够 提供 诺 多 
方便 : 第 一 ， 移 动 办 公 能 够 提供 比较 弹性 的 办 公 环 境 ， 第 二 ， 能 够 降低 
企业 员工 的 出 行 、 生 活 成 本 ; 第 三 ， 能 降低 企业 办 公 场 所 成 本 ; 第 四 ， 
还 能 吸引 更 多 、 更 好 的 人 才 。 过 去 人 人 们 常 说 的 一 句 话 一 一 21 世 纪 最 缺 的 
是 什么 ? 人才。 如 果 企业 实现 了 移动 办 公 ， 在 员工 不 方便 到 办 公 室 上 班 
的 时 候 可 以 允许 员工 在 家 移动 办 公 ， 既 保证 了 业务 的 连续 性 ， 又 能 提供 
人 文 天 怀 ， 这 样 的 公司 谁 不 想 留 下 呢 ? 


那么 ， 移 动 办 公 什 么 时 候 才 能 实现 呢 ? 某 公 司 授权 一 家 市 场 调查 公司 独 
立 做 了 一 项 针对 移动 办 公 未 来 趋势 影响 的 调研 ， 涉 及 19 个 国家 、2000 名 
IT 高 管 。 根 据 这 项 移动 办 公 调 查 报告 显示 ， 移 动 办 公 已 经 成 为 全 球 企业 
办 公 的 重要 趋势 ， 调 查 中 大 约 24% 的 企业 已 经 部 署 移动 办 公 方 案 ，21% 
的 企业 计划 在 两 年 内 部 署 移 动 办 公 方 案 ， 预 计 到 2014 年 ， 将 有 86% 的 企 
业 实 现 移 动 办 公 。 预 计 到 2020 年 ， 全 球 企 业 办 公 空 间 将 减少 17%， 中 国 
企业 的 办 公 空 间 将 减少 21%。 预 计 每 10 人 平均 需要 7 张 办 公 桌 ， 在 新 加 
坡 、 和 荷兰 、 美 国 、 英 国平 均 需 要 6 张 办 公 桌 ， 而 在 中 国 ， 这 个 数字 是 
7.69。 


通过 和 被 访 者 对 可 能 会 进行 移动 办 公 的 地 点 的 回答 ， 可 以 一 颖 未 来 工作 场 
所 的 特点 。 在 被 访 者 回答 中 ，95% 的 中 国企 业 用 户 会 选择 在 本 地 办 公 室 
接 入 移动 办 公平 台 ， 亚 太 地 区 平均 数据 为 73%; 90% 的 中 国企 业 用 户 会 
选择 从 家 里 接 入 移动 办 公平 台 ， 亚 太 地 区 平均 数据 为 62%; 84% 的 中 国 
企业 用 户 会 选择 从 公司 的 项 目 所 在 地 或 其 他 现场 接 入 移动 办 公平 台 ， 亚 
太 地 区 平均 数据 为 64%; 81% 的 中 国企 业 用 户 会 选择 从 客户 、 伙 伴 、 供 
应 两 那里 或 活动 现场 接 入 移动 办 公平 台 ， 亚 太 地 区 平均 数据 为 53%; 
489% 的 中 国企 业 用 户 会 选择 从 咖啡 厅 、 和 餐厅 、 图 书馆 以 及 类 似 公共 区 域 
接 入 移动 办 公平 台 ， 亚 太 地 区 平均 数据 则 为 30%; 其 余地 点 还 包括 在 各 
种 交通 工具 上 。 如 此 看 来 ， 移 动 办 公使 得 办 公 并 不 限于 办 公 室 或 者 家 
中 ， 而 是 真正 实现 了 随时 随地 办 公 。 


在 调查 中 ， 中 国企 业 用 户 对 于 移动 办 公 的 热情 远 蜗 于 其 他 国家 和 地 区 ， 
考 谍 到 中 国 地 缘 广 大 、 东 西部 发 展 速度 不 均衡 ， 在 治 海地 区 和 一 、 二 级 
城市 的 企业 用 户 的 移动 办 公 水 平 相当 乐观 。44% 的 中 国 被 访 企 业 表示 有 























专门 的 团队 进行 移动 办 公 和 解决 方案 的 开发 和 管理 ，28% 的 企业 表示 将 在 
2012 年 克之 前 成 并 这 样 的 团队 。 之 所 以 引入 移动 办 公 ， 其 主要 驱动 力 是 
来 自 员工 的 主动 要 求 。 而 在 中 国 ，IT 高 管 表示 第 一 驱动 力 是 因为 终端 设 
备 种 类 过 多 ， 其 次 是 出 于 安全 和 风险 控制 的 考虑 。 调 伍 显 示 ， 全 球 人 均 
拥有 6 台 不 同 的 计算 设备 ， 而 在 中 国 ， 这 一 数字 为 3.06 台 。 











从 云 计算 的 功能 来 看 ， 云 管理 面 癌 虚拟 基础 设施 的 资源 目 动 化 发 放 和 一 





体 化 的 运 维 管理 ， 可 以 被 部 署 到 一 个 自助 服务 、 自 动 化 的 公有 云 或 私有 
云 操作 环境 中 。 其 主要 功能 包括 服务 门户 、 服 务 目录 、 权 限 管理 、 容 量 
管理 、IT 资 源 管理 (支持 异 构 ) 、 性 能 管理 、 配 置 变更 管理 、 生 命 周期 
管理 ， 并 且 通 过 自动 化 引擎 编排 成 一 个 完整 的 资源 供给 管理 系统 。 


随 痢 企业 的 规模 发 展 ， 企 业 IT 系 统 从 小 规模 走 癌 大 规模 ， 从 单一 资源 池 
问 多 资源 池 扩 充 ， 所 以 云 管理 平台 除了 解决 多 资源 池 容 量 上 的 管理 问 
题 ， 还 需要 管理 不 同 的 硬件 设备 和 虚拟 化 资源 。 


在 企业 内 部 ， 系 统管 理 员 给 不 同 的 组 织 管理 员 开 放 租 户 界 面 ， 借 助 云 管 
理 平台 ， 业 务 人 员 直 接 在 租户 界面 完成 业务 的 申请 和 发 放 。 这 种 模式 可 
以 让 企业 提供 IT 企业 的 出 租 业 务 。 


云 管理 系统 通过 开放 API， 与 企业 IT 管理 平台 或 运营 系统 对 接 ， 被 集成 
到 企业 IT 系统 。 


随 独 企业 的 规模 不 断 扩 大 ， 企 业 不 同 组 织 对 IT 资源 会 有 差异 化 诉求 ， 怎 
么 将 虚拟 化 组 织 化 、 差 异化 ， 将 资源 灵活 分 配给 各 组 织 ? 请 看 如 图 8-1 
所 示 的 云 管理 的 业务 模型 。 

















图 8-1 云 管理 平台 业务 视图 


云 管理 平台 对 不 同 的 设备 和 虚拟 化 资源 进行 整合 管理 ， 上 层 业 务 感知 不 
到 物理 设备 的 更 换 和 升级 以 及 虚拟 化 平台 的 切换 。 云 管理 平台 提供 维护 
统一 入 口 ， 可 以 提升 运 维 效率 。 通 过 为 每 个 部 门 分 配 独立 的 虚拟 数据 中 
心 ， 使 各 部 门 之 间 的 云 资源 相互 独立 ， 使 用 时 互 不 感知 。 云 管理 的 主要 
特点 包括 以 下 几 点 。 


” 多 资源 池 管 理 : 企业 从 小 规模 走向 大 规模 ， 需 要 云 管理 提供 给 
管理 员 统一 的 资源 池 管 理 平台 ， 运 行 在 资源 池 之 上 的 企业 应 用 感觉 
不 到 下 层 资 源 池 中 硬件 和 虚拟 化 软件 的 差异 ， 下 层 人 硬件 设备 的 更 换 
升级 亦 对 用 户 和 业务 零 感知 ;虚拟 化 和 物理 服务 器 统一 管理 平台 兼 
容 业 界 主 流 的 虚拟 化 产品 和 操作 系统 ， 兼 容 客户 现 有 IT 资源 ， 提 供 
基于 资源 池 的 统一 编排 和 调度 ， 可 实现 设备 自动 发 现 ， 资 源 快 速 发 
放 ， 缩 短 业 务 上 线 时 间 和 维护 效率 。 














” 从 企业 内 部 应 用 走向 多 租户 的 应 用 : 软件 定义 数据 中 心 ， 网 络 
隔离 ， 通 过 组 织 管理 ， 不 同 部 门 可 以 独立 使 用 云 资 源 ， 共 享 虚 拟 化 
资源 ， 同 时 网 络 资 源 安全 隔离 ， 文 持 分 权 分 域 。 


” 应 用 弹性 伸缩 : 简易 的 应 用 模板 设计 工具 ， 给 各 租户 共享 应 用 
模板 ， 把 业务 上 线 时 间 纵 短 到 半天 ， 实 现 应 用 实例 快速 部 着 。 文 持 
应 用 根据 资源 负荷 弹性 伸缩 ， 提 高 设备 利用 率 。 


” 从 封闭 走 同 开放 : ”提供 丰富 的 二 次 开发 接口 ， 通 过 应 用 定制 ， 
其 他 外 围 系统 可 通过 二 次 开发 包 方 便 地 调用 平台 云 计算 资源 ， 与 平 
台 软 硬件 设备 实时 交互 ， 实 现 丰 富 的 系统 集成 功能 ， 如 与 高 性 能 计 
算 业 务 、 程 序 设计 系统 等 SaaS 应 用 的 便捷 融合 。 通 过 面 癌 下 层 的 标 
准 化 接口 ( 南 向 插件 机 制 》， 可 以 快速 将 新 的 硬件 设备 和 虚拟 化 软 
件 纳 入 云 计 算 资 源 池 ， 灵 活 满足 企业 需求 。 


8.1 业务 应 用 张 动 的 拉 通 计算 、 存 














随 痢 IT 技术 的 飞速 发 展 ， 设 备 更 新 周期 越 来 越 短 ， 服 务 器 的 处 理 能 力 每 
年 都 会 增长 50% 以 上 。 在 传统 的 数据 中 心 ， 开 部 门 需 要 维护 大 量 的 服务 
器 、 存 储 、 网 络 设备 ， 同 时 也 要 维护 应 用 软件 ， 在 应 用 软件 升级 、 新 业 
务 开 通 时 ， 经 营 看 到 IT 运 维和 人员 通宵 达旦 地 设计 业务 。 


降低 维护 成 本 ， 降 低 人 力 成 本 ， 绾 短 业务 开 发 局 期， 是 开 运 维 人 员 考 虑 
的 重要 问题 ， 也 是 云 计算 资源 池 管 理 平台 优先 解决 的 问题 。 


目 动 化 的 有 发展， 使 云 计算 在 不 到 十 年 的 时 间 普 及 到 普通 企业 。 云 管理 业 
务 管 理 中 ， 将 计算 、 存 储 、 网 络 作为 资源 配额 给 企业 不 同 的 组 织 部 门 ， 
各 部 门 根据 业务 需要 ， 在 组 织 中 发 布 目 己 的 应 用 。 目 动 化 服务 除了 提供 
网 络 、 设 备 的 目 动 化 部 效 ， 也 需要 按 需 使 用 ， 目 动 调度 ， 动 态 伸缩 。 


二 


8.1.1 动 化 首 

















目 


软件 安装 


除了 管理 软件 本 身 的 产品 安装 ， 重 点 是 服务 器 操作 系统 及 驱动 、 虚 拟 化 
操作 系统 和 应 用 软件 的 安装 。 云 管理 软件 能 够 实现 从 应 用 到 服务 器 的 年 





直 目 动 化 部 普 。 对 于 数据 库 场 景 ， 云 管理 软件 也 能 够 文 持 服务 妖 的 裸 机 
管理 ， 实 现 目 动 管理 和 手动 部 闭 结 合 的 应 用 场景 。 


补丁 管理 

对 管理 软件 本 身 ， 其 可 实现 补丁 的 自动 化 部 署 不 会 影响 业务 ; 对 应 用 软 
件 ， 其 可 做 到 应 用 软件 的 自动 化 推送 和 更 新 ， 提 供 灵 活 的 软件 执行 策略 
给 业务 管理 员 执 行 ， 可 以 结合 场景 在 晚上 定时 执行 、 江 即 执行 、 手 动 执 
Ts 


目 动 化 报表 


管理 员 目 定 义 报 表 内 容 ， 定 期 自动 导出 各 类 资源 的 占用 和 消耗 情况 ， 供 
运 维 人 员 对 数据 中 心 扩 容 做 参考 。 


健康 检查 
自动 收集 软 硬 件 信息 并 生成 报表 ， 同 时 对 不 同 资源 的 健康 状态 汇总 ， 通 


知 管理 员 。 

自动 扩 减 容 
在 服务 右 资 源 扩容 后 ， 能 够 自动 发 现 设备 并 扩容 集群 。 

8.1.2 ”动态 调度 
云 计 算 系 统 中 有 很 多 主动 管理 的 功能 ， 大 部 分 都 是 管理 员 感 知 不 到 的 ， 
如 虚拟 机 死机 检测 、 体 眠 检测 、 虚 拟 网 络 的 被 攻击 检测 、 管 理 系统 本 刁 
的 故障 检测 等 ， 这 里 仅 列 出 管理 员 和 常用 的 主动 管理 功能 ， 并 进行 说 明 。 
虚拟 机 HA 


虚拟 机 HA (High Availability) 机 制 ， 可 提升 虚拟 机 的 可 用 度 ， 人 允许 虚 
拟 机 出 现 故 障 后 能 够 重新 在 资源 池 中 自动 启动 虚拟 机 。 


在 已 经 创建 的 集群 中 ， 如 果 高 级 设置 中 的 HA 功能 已 经 局 用 ， 那 么 用 户 
HA 功能 。 




















当 物 理 服务 器 宕 机 等 引起 虚拟 机 故障 时 ， 系 统 可 以 将 虚拟 机 迁移 到 其 他 
物理 服务 器 重新 启动 ， 保 证 虚拟 机 能 够 快速 恢复 。 目 前 系统 能 够 检测 到 
的 引起 虚拟 机 故障 的 原因 包括 物理 硬件 故障 、 系 统 软件 故障 。 


重新 启动 的 虚拟 机 ， 会 像 物理 机 一 样 重 新 开始 引导 ， 加 载 操 作 系统 ， 所 
以 之 前 发 生 故 障 时 没有 保存 到 硬盘 上 的 内 容 将 丢失 。 


对 于 未 局 用 HA 功能 的 虚拟 机 ， 当 发 生 故 障 后 ， 此 虚拟 机 会 处 于 俘 机 状 
态 ， 用 户 需要 目 行 操作 来 局 动 这 合 虚 拟 机 。 


虚拟 机 DRS 


动态 资源 调度 〈DRS) 采用 智能 调度 算法 ， 根 据 系 统 的 负载 情况 ， 对 资 
源 进 行 智 能 调度 ， 达 到 系统 的 负载 均衡 ， 保 证 系统 展 好 的 用 户 体验 。 


动态 资源 调度 策略 针对 集群 (Cluster) 设置 ， 可 以 设置 调度 阔 值 、 定 义 
策略 生效 的 时 间 段 。 在 策略 生效 的 时 间 段 内 ， 如 果 某 主机 的 CPU、 内 存 
负载 国 值 超过 调度 半 值 ， 系 统 就 会 自动 迁移 一 部 分 虚拟 机 到 其 他 CPU、 
内 存 负 载 低 的 主机 中 ， 保 证 主机 的 CPU、 内 存 负 载 处 于 均衡 状态 。 


虚拟 机 QoS 


客户 可 以 自 定 义 必 须 在 同一 主机 上 运行 或 必须 分 主机 运行 的 虚拟 机 ， 或 
者 限定 东 些 虚拟 机 只 能 在 部 分 主机 范围 内 运行 和 迁移 。 

虚拟 机 QoS 功能 实现 了 可 衡量 的 计算 能 力 ， 用 来 保证 虚拟 机 的 计算 能 
在 一 定 范围 内 隔离 了 虚拟 机 间 由 于 业务 变化 而 导致 的 计算 能 力 的 相互 影 
啊 ， 满 足 了 不 同业 务虚 拟 机 的 计算 性 能 要 求 ， 同 时 可 以 更 好 地 控制 计算 
资源 ， 最 大 程度 地 复 用 资源 ， 降 低 成 本 ， 提 高 用 户 满 意 上 度 。 


虚拟 机 QoS 主要 体现 在 CPU QoS 和 内 存 QoS。 











” CPU QoS 


虚拟 机 的 CPU QoS 用 于 保证 虚拟 机 的 计算 资源 分 配 ， 隔 离 虚 拟 机 间 由 于 
业务 不 同 而 导致 的 计算 能 力 相 互 影 响 ， 满 足 不 同业 务 对 虚拟 机 计算 性 能 
的 要 求 ， 最 大 程度 地 复 用 资源 ， 降 低 成 本 。 


创建 虚拟 机 时 ， 可 根据 虚拟 机 预期 部 署 业 务 对 CPU 的 性 能 要 求 而 指定 相 
应 的 CPU _ QoS。 不 同 的 CPU ”QoS 代表 了 虚拟 机 不 同 的 计算 能 力 。 指 定 
CPU QoS 的 虚拟 机 ， 系 统 对 其 CPU 的 QoS 保 障 主 要 体现 在 计算 能 力 的 最 
低 保 障 和 资源 分 配 的 优先 级 。 


” 内 存 QoS 


内 存 QoS 提 供 虚 拟 机 内 存 智 能 复 用 功能 。 通 过 内 存 气 泡 占用 等 内 存 复 用 
技术 将 物理 内 存 虚拟 出 更 多 的 虚拟 内 存 供 虚 拟 机 使 用 ， 每 个 虚拟 机 都 能 
完全 使 用 分 配 的 虚拟 内 存 。 该 功能 可 最 大 程度 地 复 用 内 存 资源 ， 提 高 资 
源 利用 率 ， 且 保证 虚拟 机 运行 时 至 少 可 以 获取 到 预 留 大 小 的 内 存 ， 保 证 
业务 的 可 徘 运行 。 


系统 管理 员 可 根据 用 户 实际 需求 设置 虚拟 机 内 存 预 留 。 内 存 复 用 的 主要 
原则 是 优先 使 用 物理 内 存 。 


应 用 目 动 扩 纵 


系统 按照 用 户 预 完 设 定 的 应 用 资源 变更 打上 略 ， 目 动 调配 伸缩 组 内 的 计算 
节点 数量 ， 随 应 用 负载 的 变化 而 变化 。 


弹性 伸缩 是 使 用 云 计算 的 核心 收益 之 一 ， 可 以 实现 计算 资源 与 业务 负载 
之 间 的 动态 匹配 ， 不 仅 可 以 更 好 地 支撑 业务 的 可 用 性 、 改 善 用 户 体验 ， 
也 能 最 大 限度 地 提升 资源 的 使 用 效率 ， 有 效 避 免 为 了 支撑 将 来 的 业务 高 
峰 而 预先 多 分 配额 外 的 资源 。 
用 户 可 以 针对 系统 对 不 同类 型 的 应 用 设置 不 同 的 资源 使 用 策略 。 系 统 分 
为 三 种 策略 类 型， 即 组 内 自动 但 缩 策 咯 、 组 问 资 源 国 收 策略 、 时 间 计划 
策略 。 

> 组 内 自动 伸缩 策略 
组 内 自动 伸缩 是 针对 单独 的 应 用 而 言 的 。 


在 运行 过 程 中 ， 组 内 目 动 伸缩 策略 会 根据 应 用 的 当前 负载 动态 来 调整 应 
用 实际 使 用 的 资源 ， 这 里 的 动态 调整 主要 分 为 伸 和 缩 。 


伸 是 指 当 一 个 应 用 资源 负载 较 高 时 ， 系 统 可 以 自动 地 给 这 个 应 用 添加 虚 














拟 机 ， 并 且 安装 应 用 软件 ， 以 降低 应 用 的 整体 资源 负载 ， 使 应 用 能 够 健 
康 地 运行 。 


给 和 伸 是 相对 的 ， 当 应 用 资源 负载 很 低 时 ， 系 统 可 以 目 动 减少 应 用 使 用 
i 
和 目的 。 


” 组 间 资 源 回收 策略 


组 间 资 源 回收 策略 指 的 是 ， 当 系统 资源 不 足 的 情况 下 ， 系 统 可 以 根据 组 
i 
用 释放 资源 。 


> 时 间 计 划 策 略 


时 间 计 划 集 略 允许 用 户 对 不 同 的 应 用 实现 资源 的 分 时 复 用 。 用 户 可 以 设 
置 计划 策略 ， 使 得 不 同 的 应 用 分 时 段 地 使 用 系统 资源 ， 比 如 白天 让 办 公 
用 户 的 虚拟 机 使 用 系统 资源 ， 到 了 晚间 可 以 让 一 些 公共 的 虚拟 机 占用 资 
源 。 


虚拟 机 目 动 备份 


虚拟 机 备份 是 使 用 备份 软件 ， 配 合 Hypervisor 快 照 和 CBT (Changed 
Block Tracking) 功能 实现 的 虚拟 机 数据 备份 方案 。 备 份 软件 通过 与 
Hypervisor 配 合 ， 实 现 对 指定 虚拟 机 的 备份 。 当 虚拟 机 数据 丢失 或 出 现 
故障 时 ， 可 通过 备份 的 数据 进行 恢复 。 数 据 备份 的 目的 端 为 本 地 虚拟 机 
盘 或 备份 软件 外 接 的 共享 网 络 存 储 设 备 (NAS) 。 


备份 软件 通过 设置 备份 策略 ， 实 现 虚 拟 机 的 自动 定期 备份 。 针 对 不 同 虚 
拟 机 或 虚拟 机 组 ， 可 设置 不 同 备份 策略 ， 最 多 文 持 200 个 备份 策略: 


> 文 持 对 全 备份 、 增 量 备 份 和 差 量 备份 分 别 设置 不 同 的 备份 周 
期 、 备 份 时 间 窗 口 ， 如 设置 每 周 进行 一 次 全 备 、 每 天 进行 一 次 增 


> 设置 备份 数据 保留 时 间 ， 以 自动 清除 过 期 备份 数据 ; 





” 设置 备份 策略 优先 级 。 





虚拟 网 络 
虚拟 化 具备 EVS 功 能 ， 文 持 分 布 式 虚拟 交换 ， 可 以 向 虚拟 机 提供 独立 的 








网 络 平面 。 像 物理 交换 机 一 样 ， 不 同 的 网 络 平面 间 通 过 VLAN 进 行 隔 
离 。 这 种 技术 具备 如 下 特点 : 


同一 牡 主 机 上 的 不 同 虚 拟 机 ， 如 位 于 不 同 VLAN， 则 不 能 直接 
互通 ; 


”同一 宿主 机 上 的 不 同 虚 拟 机 ， 如 位 于 相同 VLAN， 则 可 以 直接 
二 层 互 通 ， 此 时 网 络 流量 通过 内 存 交 换 ， 不 受 任何 网 络 带宽 限制 ; 


”不同 窒 主机 上 的 不 同 虚拟 机 ， 如 位 于 相同 VLAN， 则 可 以 通过 
外 部 交换 机 进行 互通 ， 就 像 没有 虚拟 化 一 样 。 


通过 这 种 能 力 ， 您 可 以 将 VLAN 视 为 独立 的 网 络 平面 ， 通 过 同 不 同 的 虚 
拟 机 分 配 不 同 的 VLAN， 来 实现 各 种 业务 间 的 隔离 。 


虚拟 DHCP 


虚拟 DHCP 就 是 一 种 DHCP 服 务 ， 可 以 部 悍 到 任意 的 虚拟 网 络 平面 中 。 
您 可 以 透 过 此 服务 来 管理 虚拟 机 的 IP 地 址 分 配 。 虚 拟 DHCP 其 实 是 一 台 
0 其 上 面 运行 的 DHCP 程 序 与 物理 DHCP 服 务 并 无 功能 
条 显著 区 别 。 


由 于 虚拟 DHCP 服 务 是 通过 虚拟 机 部 署 的 ， 所 以 可 以 随时 依据 需要 灵活 
地 部 署 到 网 络 平面 内 。 虚 拟 DHCP 的 部 署 过 程 也 是 自动 化 的 ， 并 不 需要 
手动 部 署 。 

由 于 虚拟 DHCP 服 务 是 服务 于 指定 网 络 平面 的 ， 所 以 可 以 在 不 同 的 网 络 
0 同 的 DHCP 服 务 ， 这 样 就 可 以 在 不 同 的 网 络 平面 之 间 做 到 
IPH 登 。 


在 传统 的 DHCP 服 务 上 ， 虚 拟 DHCP 服 务 追 加 了 虚拟 机 DHCP 数 据 的 集中 














管理 能 力 ， 即 虚拟 机 的 MAC 地 址 和 了 地 址 绑 定 关系 是 集中 存储 在 虚拟 化 
的 集中 数据 库 中 的 。 这 样 的 好 处 就 是 ， 当 茶 一 个 虚拟 DHCP 服 务实 例 友 
生 故 障 时 ， 我 们 可 以 很 方便 地 和 草 新 部 车 一 个 虚拟 DHCP 服 务 ， 然 后 把 数 
据 注 入 进去 。 这 样 使 得 虚拟 服务 的 修复 变 得 容易 。 


总 结 一 下 ， 虚 拟 DHCP 服 务 具 备 如 下 优点 : 
> 按 需 随时 部 署 回收 ; 
> 支持 IP 地 址 重 郝 ; 
”~ 无 状态 ， 便 于 蔡 换 。 
虚拟 网 关 服 务 


使 用 虚拟 三 层 网 关 服 务 ， 可 以 为 子 网 提供 三 层 路 由 的 能 力 。 三 层 网 关 会 
占用 子 网 的 网 关 地 址 ， 回 子 网 内 的 虚拟 机 及 其 他 设备 提供 三 层 路 由 的 能 
力 。 2 虚拟 网 关 的 能 力 与 物理 网 络 设备 (交换 机 、 路 由 器 
等 ) 一 致 。 


和 虚拟 DHCP 服 务 一 样 ， 虚 拟 网 关 服 务 也 是 通过 向 虚拟 网 络 平面 部 署 虚 
拟 机 来 实现 虚拟 网 关 服 务 的 ， 即 通过 一 台 虚 拟 机 为 虚拟 网 络 平面 上 的 某 
个 Subnet 提 供 路 由 能 


虚拟 网 天 服务 可 以 同时 为 多 个 子 网 提供 网 关 能 力 。 当 虚拟 网 关 服 务 同时 
为 多 个 子 网 提供 服务 时 ， 虚 拟 网 关 会 自动 配置 这 些 子 网 间 的 默认 路 由 。 
这 样 很 方便 ， 一 个 虚拟 网 关 下 的 多 个 子 网 间 默 认 就 是 可 以 路 由 的 ， 通 过 
虚拟 路 由 功能 控制 网 络 间 数据 通信 。 


虚拟 网 关 服 务 除了 提供 网 关 能 力 外 ， 还 提供 NAT 和 NAPT 的 能 力 。 基 于 
此 能 力 ， 其 可 以 实现 更 加 灵活 的 组 网 和 业务 。 


虚拟 网 关 的 数据 也 是 集中 存储 在 虚拟 化 的 数据 库 中 的 。 虚 拟 网 关 的 修复 
方式 和 DHCP 服 务 一 样 ， 都 是 重新 部 警 虚 拟 机 ， 注 入 数据 ， 这 使 得 虚拟 
网 关 的 修复 变 得 很 容易 。 


由 于 虚拟 网 关 运 行 于 虚拟 机 之 上 ， 其 处 理 能 力 及 带 冤 否 吐 量 会 受 宿主 机 
上 其 他 虚拟 机 的 影响 。 对 于 网 络 压 力 不 大 的 场景 ， 可 以 使 用 虚拟 网 关 来 





























应 对 ， 这 样 部 车 方便 且 成 本 低 。 对 于 网 络 压力 比较 大 的 场景 ， 建 议 使 用 
物理 设备 作为 网 关 。 


虚拟 化 一 般 支 持 将 物理 防火 增 虚 拟 化 为 虚拟 防火 墙 ， 同 时 提供 虚拟 网 关 
的 能 力 ， 推 荐 在 性 能 和 安全 要 求 比较 高 的 场景 使 用 。 


虚拟 防火 声 


云 管理 可 以 将 物理 的 防火 场 设 备 虚 拟 化 为 虚拟 防火 场 。 虚 拟 防 火 寺 可 以 
分 配给 用 户 网 络 ， 放 在 网 络 的 边界 上 ， 对 外 提供 如 下 的 功能 : 


~ ACL 隔 离 ; 
” 带宽 限制 ; 
” 三 层 网 关 ; 
” 默认 路 由 ; 
弹性 IP; 
> SNAT 穿 越 。 
最 终 用 户 可 以 像 配置 物理 防火 墙 一 样 方便 地 配置 自己 的 虚拟 防火 墙 。 


由 于 虚拟 防火 墙 使 用 的 实际 上 是 物理 防火 墙 的 硬件 资源 ， 所 以 其 性 能 和 
可 靠 性 是 有 保障 的 。 








虚拟 VPN 
云 管 理 支 持 利 用 虚拟 防火 墙 的 能 力 对 外 提供 VPN 能 力 。 当 前 支持 的 VPN 
类 型 为 : 





” IPSec VPN Server to Server 横 式 ， 用 于 路 广 域 的 两 个 网 络 间 的 互 
通 ; 








> L2TP over IPSec VPN， 用 于 最 终 用 户 通 过 互联 网 访问 私有 网 


络 。 


通过 VPN 能 力 ， 可 以 很 方便 地 实现 私有 网 络 在 云 上 的 扩展 ， 以 及 公 网 访 
问 私 有 网 络 的 能 


由 于 虚拟 VPN 使 用 的 实际 上 是 物理 防火 载 的 硬件 资源 ， 所 以 其 性 能 和 可 
靠 性 是 有 保障 的 。 


虚拟 负载 均衡 


虚拟 负载 均衡 服务 ， 即 通过 在 虚拟 机 上 部 署 软件 的 负载 均衡 器 ， 同 虚拟 
化 基础 设施 提供 负载 均衡 的 能 


由 于 虚拟 负载 均衡 服务 部 署 在 虚拟 机 上 ， 所 以 它 可 以 很 方便 地 随时 部 署 
销毁 。 同 时 ， 虚 拟 化 资源 池 提 供 的 虚拟 负载 均衡 服务 数据 存储 在 虚拟 化 
数据 库 中 ， 所 以 在 出 现 故 障 时 可 以 很 容易 地 恢复 。 


其 文 持 将 负载 均衡 器 虚拟 化 来 提供 虚拟 负载 均衡 ， 同 时 文 持 使 用 虚拟 化 
提供 的 虚拟 负载 均衡 能 力 来 提供 虚拟 负载 均衡 服务 。 


负载 均衡 服务 允许 将 来 自 公 网 的 流量 依据 一 定 的 负载 均衡 规则 分 发 到 多 
个 业务 处 理 虚 拟 机 上 。 结 合 虚拟 防火 增 提 供 的 弹性 人 P 能 力 ， 带 宽 限 制 能 
力 ， 可 以 很 方便 地 控制 Web 应 用 的 流量 和 压力 。 


虚拟 化 提供 的 虚拟 负载 均衡 运行 于 虚拟 机 之 上 ， 其 处 理 能 力 及 带宽 吞吐 
量 会 受 宿主 机 上 其 他 虚拟 机 的 影响 。 对 于 网 络 压 力 不 大 的 场景 ， 可 以 使 
用 虚拟 负载 均衡 来 应 对 ， 这 样 部 署 方便 上 且 成 本 低 。 


由 于 虚拟 负载 均衡 运行 于 虚拟 机 之 上 ， 其 处 理 能 力 及 融 客 否 吐 量 会 受 宿 
主机 上 其 他 虚拟 机 的 影响 。 对 于 网 络 压力 不 大 的 场景 ， 可 以 使 用 虚拟 负 
载 均衡 来 应 对 ， 这 样 部 车 方便 上 且 成 本 低 。 对 于 网 络 压 力 比 较 大 的 场景 ， 
建议 使 用 物理 负载 均衡 器 。 


云 管理 通过 对 负载 均衡 器 虚拟 化 ， 提 供 基 于 硬件 的 虚拟 负载 均衡 服务 。 
由 于 使 用 独立 硬件 ， 性 能 要 远 远 高 于 软件 的 虚拟 负载 均衡 服务 。 


8.2 ”物理 和 虚拟 化 资源 的 统一 管控 




















在 云 管理 平台 上 ， 通 过 对 各 种 物理 资源 、 虚 拟 化 资源 数据 统一 建 模 ， 将 
资源 以 用 户 可 见 的 资源 池 形 式 提供 给 上 层 应 用 ， 在 接 入 不 同 的 物理 设备 
和 虚拟 化 资源 环境 时 ， 上 层 应 用 不 感知 〈 见 图 8-2) 。 
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图 8-2 ”统一 资源 管理 模型 


统一 资源 管理 ， 文 持 友 现 其 管辖 范围 内 的 物理 设备 (包括 机 框 、 服 务 
器 、 存 储 设备 、 交 换 机 、 防 火 墙 和 负载 均衡 器 等 ) 以 及 它们 的 组 网 关 
系 ; 文 持 将 这 些 物 理 设备 进行 池 化 管理 和 集中 管理 ， 提 供给 上 层 应 用 管 
理 使 用 ， 实 现 资 源 高 效 共享 。 


虚拟 化 资源 管理 可 以 统一 管理 不 同 三 商 的 虚拟 化 平台 系统 ， 如 华为 的 

FusionSphere、VMware 的 vSphere、 微 软 的 Hyper-V、 思 杰 的 Xen Server 
等 虚拟 化 平台 ， 提 供 不 同 资源 的 生命 周期 管理 功能 ， 包 括 虚 拟 机 资源 、 
虚拟 网 络 资源 、 虚 拟 存 储 资源 管理 等 。 


通过 资源 池 管 理 ， 其 可 提高 基础 设施 资源 的 利用 率 和 灵活 性 ， 提 供 统一 
的 虚拟 化 资源 管理 能 力 ， 对 上 层 应 用 发 放 屏 项 差异 ， 实 现 虚 拟 资源 集中 
管理 ， 提 升 管理 效率 ， 降 低 运 维 成 本 。 


采用 南 问 插件 机 制 ， 使 云 管 理 可 以 快速 、 便 捷 、 可 定制 地 实现 不 同 硬件 
和 虚拟 化 系统 的 对 接 。 














8.2.1 物理 资源 管理 
根据 不 同 的 资源 对 象 ， 物 理 管 理 资 源 分 为 服务 需 资 源 管 理 、 存 储 、 网 络 


设备 。 


服务 器 资源 管理 包括 IBM、HP、ORACLE (Sun) 、Fujitsu 等 支持 基于 
Intel 和 AMD 架 构 的 x86 主 流 服务 器 机 。 通过 云 管理 平台 ， 其 对 外 提供 统 
一 的 资源 分 配 和 管理 。 云 管理 平台 支持 多 个 虚拟 化 资源 池 的 管理 ， 一 个 
资源 池内 的 物理 主机 拥有 同样 类 型 的 CPU 架构 或 操作 系统 类 型 ， 以 便 进 
行业 务 弹性 伸 央 和 动态 调度 。 


网 络 资源 基础 管理 提供 对 路 由 器 、 交 换 机 、 负 载 均 衡器 、 防 火 墙 、IP 地 
址 、 虚 拟 网 络 设备 等 网 络 设备 和 资源 的 查询 和 配置 管理 ， 网 络 资源 包 
括 : 资源 编号 ， 对 应 网 络 设备 的 基本 信息 ， 网 络 设备 的 管理 和 配置 接口 
信息 。 将 多 个 网 络 资源 整合 为 一 个 整体 ， 对 外 提供 统一 的 网 络 资源 分 配 
和 集中 式 管理 。 网 络 资源 池 应 包含 下 面 信息 : 网 络 资源 池 编 号 、 网 络 资 
源 类 型 (比如 IP 地 址 、 交 换 机 、 路 由 器 、 负 载 均衡 器 、 防 火 墙 等 ) 、 网 
络 资源 池 组 成 信息 、 网 络 资源 池 容 量 信 息 、 资 源 池 操作 方式 、 资 源 池 访 
问 接口 、 系 统 域 ID 等 。 


典型 的 云 管 理 平台 ， 对 网 络 资源 能 力 包括 : 
” 支持 对 网 络 设 备 的 自动 发 现 ; 
” 支持 设备 拓扑 图 ; 
”~ 支持 对 网 络 设备 (包括 虚拟 网 络 设 备 ) 的 配置 和 管理 ， 包 括 网 
| VLAN 等 资源 的 配置 、 查 询 、 导 出 功能 ， 支 持 通 过 全 
网 资源 统计 ， 观 测 全 网 网 络 资源 使 用 的 状况 ; 


” 文 持 网 络 资源 ( 池 ) 的 容量 管理 ， 包 括 总 容量 、 已 使 用 的 资源 
容量 、 可 用 资源 容量 等 信息 的 管理 和 查询 ， 对 网 络 设备 实时 监测 ; 





> 提供 对 网 络 资源 ( 池 ) 的 生命 周期 管理 (包括 创建 、 修 改 、 查 
询 和 删除 〉; 


” 提供 对 网 络 资源 ( 池 ) 的 操作 和 配置 接口 ; 


人 硬件 设备 接 入 协议 一 览 表 如 表 8-1 所 示 。 
表 8-1 硬件 设备 接 入 协议 一 览 

















分 类 设备 类 型 接 入 协议 告警 上 报 协议 

机 框 式 服务 器 SNMP、IPMI、SSH 

裸 金 属 机 框 式 服务 器 SNMP、 IPMI 

服务 器 | 一 一 一 
| 机 架 式 服务 器 IPMI、SSH 
上 一 一 SNMP 
| 裸 金属 机 架 式 服务 器 IPMI 

存储 | TLV、 SMI-S 

交换 机 | 一 SNMP、SSH 








” 服务 器 管理 


通过 服务 器 管理 ， 可 查看 服务 器 名 称 和 其 他 信息 ， 管 理 卫 地址、BIOS、 
CPU 主 频 个 数 、 内 存 大 小 、 硬 盘 容 量 、 网 卡 个 数 和 网 口 个 数 等 信息 。 


服务 需 操 作 管 理 对 服务 需 进 行 安全 下 电 、 强 制 下 电 、 安 全 重 局 、 进 入 维 
护 模 式 和 退出 维护 模式 等 操作 。 


服务 器 监控 管理 监控 服务 器 的 如 下 指标 : CPU 占用 率 、 内 存 占 用 率 、 网 

络 流出 、 网 络 流 入 、 磁 盘 IO 写 入 、 磁 盘 IO 读 出 和 服务 器 状态 等 ， 问 时 

RE 月 、 年 及 自 定 义 时 段 查询 性 能 监控 结果 ， 也 可 以 导出 查询 结 
网 络 设备 管理 


| 如 交换 机 的 名 称 、 管 理 IP 地 址 、 型 号 、 类 型 和 状态 等 





但 看 交换 机 亲口 连 接 状 态 ， 如 查看 交换 机 每 个 端口 的 编写、 状态 、 故 送 
速率 、 率 、 发 送 丢 包 率 、 接 收 丢 包 率 、 发 送 错 误 率 和 接收 错误 率 


等 信息 





网 络 配 置 管 理 对 系统 网 络 进行 配置 和 管理 ， 如 外 部 网 络 、 组 织 网 络 和 服 
务 器 BMC IP 池 等 。 


” 存储 设备 管理 


查看 存储 设备 的 配置 信息 ， 如 存储 设备 的 名 称 、 管 理 耻 地 址 、 型 号 、 状 
态 和 磁盘 数量 等 信息 。 


存储 设备 的 监控 管理 ， 如 查询 存储 设备 的 总 容量 和 可 用 容量 等 。 
8.2.2 ”虚拟 化 资源 管 必 


云 管理 平台 对 虚拟 化 的 管理 包括 虚拟 化 生命 周期 管理 、 虚 拟 网 络 管理 、 
虚拟 化 存储 管理 和 VPC 业务 。 


虚拟 生命 周期 管理 

”创建 虚拟 机 
管理 员 可 以 通过 多 种 方式 创建 虚拟 机 ， 如 通过 应 用 创建 虚拟 机 业务 群 、 
使 用 虚拟 机 模板 来 创建 虚拟 机 《或 批量 创建 多 个 虚拟 机 ) ， 通 过 自 定义 
方式 创建 虚拟 机 ， 或 者 通过 已 有 虚拟 机 克隆 方式 创建 虚拟 机 。 

” 销毁 虚拟 机 


管理 员 可 以 通过 删除 应 用 来 销毁 虚拟 机 ， 将 不 再 使 用 的 虚拟 机 销毁 
释放 系统 资源 。 


” 虚拟 机 的 维护 


管理 员 可 以 对 一 个 或 多 个 虚拟 机 执行 局 动 /唤醒 、 安 全 重启 、 强 制 重 
局、 休眠、 安全 关闭 和 强制 关闭 等 操作 。 


” 迁移 虚拟 机 
管理 员 可 以 将 虚拟 机 从 一 台 主 机 上 迁移 到 男 一 台 主 机 上 。 
” 修复 虚拟 机 


虚拟 机 操作 系统 异常 后 ， 管 理 员 可 以 对 虚拟 机 进行 修复 。 修 复 虚拟 机 不 
会 影响 用 户 数 据 ， 确 保 用 户 信 息 不 丢失 。 














”创建 虚拟 机 快照 


虚拟 机 快照 可 保留 虚拟 机 茶 一 个 时 刻 的 状态 ， 当 虚拟 机 出 现 故 障 时 ， 管 
理 员 可 以 使 用 快照 将 虚拟 机 恢复 到 创建 快照 的 时 刻 点 。 


” 虚拟 机 资源 调整 


管理 
下 几 


人 


调整 虚拟 机 的 QoS: 配置 了 虚拟 机 CPU QoS 后 ， 当 虚拟 机 局 动 时 ， 
系统 会 根据 当前 资源 使 用 情况 为 虚拟 机 的 vYCPU 绑 定 物理 CPU， 直 
到 虚拟 机 关机 。 

调整 虚拟 机 CPU 数目 : 管理 员 可 以 根据 需要 ， 增 加 或 者 减少 虚拟 机 
人 
和 不 同 需 求 。 

调整 内 存 大 小 : 管理 员 可 以 根据 需要 增加 或 者 减少 虚拟 机 的 内 存 容 
量 ， 以 便 满 足 虚 拟 机 上 业务 负载 发 生变 化 时 对 内 存 的 需求 。 

增加 或 修改 虚拟 磁盘 : 管理 员 通 过 增加 虚拟 磁盘 或 修改 磁盘 容量 ， 
满足 业务 对 虚拟 机 磁盘 容量 变化 的 需求 ， 实 现存 储 资 源 的 灵活 使 


用 。 

删除 虚拟 磁盘 : 管理 员 通 过 删除 虚拟 磁盘 ， 释 放 不 使 用 的 磁盘 衬 
人 
用 


增加 或 修改 网 卡 : 管理 员 通 过 增加 虚拟 网 卡 或 修改 网 卡 属 性 ， 调 整 
虚拟 机 的 网 络 属性 ， 实 现 网 络 资源 的 灵活 使 用 。 

删除 网 卡 : 管理 员 通 过 删除 虚拟 网 卡 ， 释 放 不 使 用 的 网 卡 ， 实 现 网 
络 资源 的 灵活 使 用 。 

增加 USB 控 制 器 :管理 员 可 以 为 虚拟 化 环境 中 的 虚拟 机 添加 USB 控 
制 器 ， 添 加 USB 控 制 器 后 ， 虚 拟 机 就 可 以 绑 定 USB 设 备 ， 实 现 与 个 
人 电脑 同样 的 操作 。 

删除 USB 控 制 器 : 管理 员 可 以 删除 虚拟 化 环境 中 的 USB 控 制 器 ， 释 
放 虚 拟 机 所 占用 的 USB 控 制 器 资源 。 

绑 定 或 解 绑 定 USB 设 备 : 管理 员 将 虚拟 机 与 主机 上 的 USB 设 备 进 行 
绑 定 ， 使 得 虚拟 机 能 够 访问 USB 设 备 ， 满 足 用 户 需 求 ， 也 可 以 解 绑 
定 ， 及 时 释放 虚拟 机 占用 的 USB 设 备 资源 。 

调整 虚拟 机 磁盘 的 VO 上 限 : 管理 员 可 设置 虚拟 机 每 个 磁盘 的 IO 上 

















限 ， 以 避免 某 个 虚拟 机 的 磁盘 IO 过 大 ， 影 响 其 他 虚拟 机 的 性 能 。 

。 虚拟 机 性 能 监控 : 通过 云 平台 系统 ， 可 以 获取 虚拟 机 CPU 占用 率 、 
内 存 占 用 率 、 网 络 流速 和 磁盘 IO 等 信息 ， 还 可 以 按 周 、 月 、 年 及 
目 定 义 时 段 碍 询 性 能 监控 结 采 。 


虚拟 网 络 管理 


虚拟 网 络 管理 包括 子 网 管理 、VLAN 池 管理 、VPC 管 理 和 虚拟 防火 墙 。 
云 平 台 的 子 网 管理 ， 支 持 子 网 下 虚拟 机 的 二 层 隔离 。 当 组 网 模式 末 用 二 
层 、 三 层 时 均 可 根据 用 户 需 要 配置 VLAN 池 ， 在 组 网 模式 为 三 层 组 网 时 
添加 的 VLAN 池 只 用 于 隔离 二 层 网 络 。VPC 为 应 用 发 放 提 供 了 一 个 独占 
人 
XX| 2 


软件 的 虚拟 防火 墙 是 指 通 过 VSA 虚 拟 机 提供 防火 墙 功 能 ， 该 防火 墙 能 大 
VPC 提供 DNAT 和 VxLAN 业 务 ， 也 能 够 提供 类 似 于 弹性 卫 的 功能 ， 只 不 
过 “弹性 IP” 是 直接 从 外 部 网 络 ， 而 不 是 公 网 IP 池 中 获取 的 。 硬 件 虚拟 防 
火 墙 是 在 物理 防火 墙 设备 上 创建 的 虚拟 防火 墙 ， 对 防火 墙 性 能 要 求 较 高 
时 可 以 选择 此 类 型 ， 并 且 能 够 为 VPC 提供 弹性 IP、DNAT、ACL 和 VPN 











VPC 能 够 为 组 织 提供 安全 、 隔 离 的 网 络 环境 ， 可 以 在 VPC 中 定义 与 传统 
网 络 无 差别 的 虚拟 网 络 ， 以 满足 业务 部 署 要 求 。 在 VPC 中 ， 创 建 的 虚拟 
机 或 应 用 被 部 绪 到 网 络 当 中 ， 可 用 于 提供 服务 。 


VPC 提 供 三 种 网 络 用 于 部 署 业 务 资源 。 
> 直 连 网 络 


直 连 网 络 与 外 部 网 络 相 连 ， 其 自身 不 包含 任何 网 络 资 源 ， 在 直 连 网 络 中 
创建 虚拟 机 或 应 用 时 实际 使 用 的 是 外 部 网 络 中 的 资源 。 外 部 网 络 可 以 是 
公司 现 有 网 络 或 者 公 网 ， 当 外 部 网 络 为 公司 现 有 网 络 时 ， 云 管理 与 公司 
现 有 网 络 对 接 ， 虚 拟 机 可 分 配 到 公司 现 有 网 络 的 IP 地 址 资源 。 当 外 部 网 
络 为 公 网 时 ， 其 直 连 网 络 中 的 虚拟 机 具有 直接 访问 公 网 的 能 





” 内 部 网 络 
由 于 内 部 网 络 和 其 他 的 网 络 是 隔离 的 ， 因 此 内 部 网 络 中 可 以 部 普 对 安全 


性 要 求 较 高 的 业务 ， 例 如 ， 部 署 一 个 三 层 网 站 时 ， 可 将 数据 库 所 在 服务 
器 部 普 在 内 部 网 络 中 。 


” 路 由 网 络 


路 由 网 络 具 有 灵活 的 互通 能 力 和 多 种 业务 功能 ， 基 于 虚拟 防火 墙 的 路 由 
网 络 能 够 与 VPC 中 的 其 他 路 由 网 络 互 通 ， 或 者 绑 定 弹性 也 与 公 网 进行 通 
信 。 除 了 弹性 耳 ， 路 由 网 络 还 能 提供 ACL、DNAT 和 VPN 业 务 ， 以 满足 
人 
8-3) 。 
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图 8-3 VPC 网 络 结构 
VPC 的 业务 包括 以 下 几 点 。 
” 弹性 IP 


弹性 IP 地 址 是 一 个 公 网 下 地 址 ， 该 耻 地 址 可 以 与 VPC 内 任何 一 个 路 由 网 
络 中 的 内 部 卫 地 址 绑 定 。 这 个 内 部 地 址 可 以 是 虚拟 机 的 了 地址 、VLB 的 
虚拟 下地 址 或 浮动 耻 地 址 。 例 如 ， 为 VPC 内 的 Web 服 务 器 绑 定 弹性 了 
后 ， 公 网 用 户 通过 访问 弹性 IP 地 址 使 用 Web 服 务 ， 如 图 8-4 所 示 。 
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图 8-4 ”弹性 IP 


> DNAT 


当 VPC 内 部 需要 提供 对 外 服务 时 ， 公 网 用 户 发 起 连接 请 求 ， 由 防火 墙 上 
的 网 关 接 收 这 个 连接 ， 然 后 将 连接 转换 到 内 部 ， 此 过 程 是 由 带 有 公 网 IP 
的 网 关 蔡 代 内 部 服务 来 接收 外 部 的 连接 ， 然 后 在 内 部 做 地 址 转换 ， 此 转 
换 称 为 DNAT， 主 要 用 于 内 部 服务 对 外 发 布 〈 见 图 8-5) 。 
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> SNAT 


内 部 地 址 单 向 发 起 请 求 访问 公 网 上 的 服务 时 (如 Web 访 问 ) ， 内 部 地 址 
会 主动 发 起 连接 ， 由 防火 墙 上 的 网 关 对 内 部 地 址 做 地 址 转换 ， 将 内 部 人 Pp 
地 址 转换 为 公 网 了 地 址 。 这 个 由 网 关 完 成 的 地 址 转换 称 为 SNAT， 主 要 
用 于 内 部 共享 JP 访问 外 部 ， 如 图 8-6 所 示 。 
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图 8-6 SNAT 
> VxLAN 


VPN 业 务 用 于 在 公 网 之 上 建立 一 条 安全 、 稳 定 的 通信 和 隧道， 将 分 布 于 不 
同 地 域 的 企业 或 个 人 连接 起 来 ， 并 保证 通信 隧道 内 发 送 和 接收 数据 的 安 
全 性 。 云 省 理 需 支持 IPsec 和 L2TP 两 种 类 型 的 VPN， 将 处 于 公 网 中 的 用 
户 接 入 到 VPC 的 路 由 网 络 ， 使 用 户 与 路 由 网 络 中 的 服务 需 互 通 。 


” 安全 组 


安全 组 用 来 实现 安全 组 内 和 组 间 虚 拟 机 的 访问 控制 ， 加 强 虚拟 机 的 安全 
保护 。 安 全 组 创建 后 ， 管 理 员 可 以 在 安全 组 中 定义 各 种 访问 规则 ， 当 虚 
拟 机 加 入 该 安全 组 后 ， 即 受到 这 些 访问 规则 的 保护 。 


例如 ， 在 同一 VLAN 下 的 两 个 部 门 之 间 相 互 隔离 ， 同 一 部 门 之 间 的 虚拟 
机 可 以 相互 访问 ， 但 是 所 有 虚拟 机 都 可 以 与 服务 器 通信 。 解 决 方法 如 图 
8-7 所 示 ， 分 别 为 部 门 1、 部 门 2 创建 安全 组 1、 安 全 组 2， 且 安全 组 为 组 
访问 安全 组 。 








一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 同 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 属 


™ 
rp “ fr mm 
安全 组 ] 女 全 组 2 


服务 器 
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图 8-7 ”虚拟 机 隔离 
虚拟 存储 管理 


虚拟 化 存储 将 不 同 广 商 的 各 种 物理 存储 设备 连 成 一 个 逻辑 存储 池 ， 对 外 
提供 业务 并 存储 空间 管理 ， 根 据 存 储 空 间 类 型 不 同 ， 可 分 为 文件 资源 、 
块 数据 资源 和 对 象 资 源 。 所 有 的 存储 设备 将 被 统一 管理 ， 提 供 数据 复 
制 、 快 照 、 克 隆 、 远 程 灾 备 等 业务 。 


云 省 理 平台 提供 数据 存储 空间 (包括 文件 、 块 和 对 象 〉 的 生命 周期 管理 
接口 ， 对 存储 设备 进行 信息 记录 和 综合 管理 ， 包 括 存 储 空间 的 创建 、 删 
除 、 加 载 、 凶 载 、 查 询 等 ， 文 持 各 种 主流 品牌 存储 设备 的 接 入 和 省 理 ， 

采用 行业 标准 的 开放 接口 ， 将 不 同 广 家 、 不 同型 号 的 存储 设备 接 入 到 统 
一 存储 虚拟 化 层 ， 存 储 虚拟 化 层 对 这 些 存储 设备 进行 发 现 、 管 理 、 分 

配 ， 存 储 虚 拟 化 后 ， 对 上 层 应 用 提供 统一 的 存储 访问 格式 。 


云 管 平台 文 持 跨 地 域 的 存储 池 的 统一 监控 管理 ， 实 现 远 程 管理 能 力 。 
8.2.3 ”资源 集群 管理 








集群 是 由 多 个 计算 服务 器 组 成 的 ， 集 群 内 的 服务 器 作为 一 个 整体 来 工作 
和 进行 管理 。 一 个 虚拟 化 环境 中 可 以 有 多 个 集群 。 虚 拟 机 在 创建 时 被 指 
定 在 某 一 个 集群 内 ， 根 据 一 定 的 原则 〔〈 如 负荷 分 担 ) 选择 一 个 主机 ， 在 
此 主机 上 创建 虚拟 机 。 对 于 集群 内 的 计算 资源 共享 ， 虚 拟 机 可 以 从 一 个 
物理 主机 迁移 到 另 一 个 物理 主机 。 资 源 集群 管理 的 功能 包括 创建 资源 集 
群 、 删 除 资源 集群 、 扩 容 资源 集群 、 减 容 资源 集群 、 监 控 资源 集群 性 


会 忆 
月 上 。 








”创建 资源 集群 


选择 计算 资源 、 存 储 资源 、 网 络 资源 来 创建 资源 集群 ， 在 创建 过 程 中 可 
以 进行 高 级 配置 ， 配 置 资源 集群 的 HA 和 主机 内 存 复 用 信息 。 


” 删除 资源 集群 

删除 资源 集群 后 ， 相 应 的 计算 资源 、 人 存储 资源 、 网 络 资源 会 被 释放 。 
”扩容 资源 集群 

给 已 经 发 放 的 资源 集群 添加 服务 器 、 数 据 存 储 资 源 。 
” 减 容 资源 集群 


人 
放 资 源 。 


” 得 看 资源 集群 
显示 资源 集群 的 基本 信息 包括 集群 名 称 ， 所 属 的 域 、 虚 拟 化 环境 及 资源 
分 区 ， 集 群 中 主机 总 数 ， 故 障 主 机 数 ， 虚 拟 机 总 数 ， 故 障 虚拟 机 数 等 。 
” 资源 集群 性 能 监控 


可 以 按 周 、 月 、 年 、 目 定义 时 间 段 查询 资源 集群 性 能 监控 ， 监 控 指 标 有 
平均 CPU 趋势 对 比 、 平 均 内 存 趋势 对 比 、 平 均 网 络 流量 趋势 对 比 《〈 网 络 
流出 ) 、 平 均 网 络 流量 趋势 对 比 《〈 网 络 流入 ) 。 


> 集群 HA (High Available) 


虚拟 机 文 持 热 迁移 ， 文 持 在 一 个 计算 集群 内 自由 迁移 虚拟 机 。 在 虚拟 机 
迁移 期 间 ， 用 户 业 务 不 会 有 任何 中 断 。 如 果 迁 移 失 败 ， 目 的 端的 虚拟 机 
将 被 销毁 ， 而 用 户 仍 可 以 使 用 源 端 虚拟 机 。 该 功能 可 避免 因 服务 器 维护 
造成 的 业务 中 断 ， 降 低 数 据 中 心 的 电能 消耗 。 


虚拟 机 支持 故障 迁移 ， 该 功能 文 持 虚拟 机 故障 后 自动 重启。 用户 创建 虚 
拟 机 时 ， 可 以 选择 是 否 支 持 故障 重启 ， 即 是 否 支 持 HA 功 能 。 系 统 周 期 
检测 虚拟 机 状态 ， 当 物理 服务 器 故障 引起 虚拟 机 故障 时 ， 系 统 会 将 虚拟 
机 迁移 到 其 他 物理 服务 器 重新 局 动 ， 保 证 虚拟 机 能 够 快速 恢复 。 重 新 启 
动 的 虚拟 机 ， 会 像 物 理 机 一 样 重新 开始 引导 ， 加 载 操作 系统 ， 所 以 友 生 
故障 时 未 保存 的 内 容 将 丢失 。 


8.2.4 ”虚拟 机 资源 管理 
虚拟 机 资源 管理 包括 对 虚拟 机 生命 周期 管理 和 虚拟 化 格式 转换 。 








” 虚拟 机 生命 周期 管理 


虚拟 机 创建 ， 即 接收 业务 运营 系统 的 申请 虚拟 机 请 求 ， 检 查 资源 池 及 分 
区 资源 是 否 满 足 申请 ， 根 据 运营 参数 在 对 应 的 存储 池 分 配 相应 的 虚拟 机 
人 
以 机 。 


” 虚拟 化 格式 转换 


P2V (Physical Machine to Virutal Machine) 是 指 将 物理 服务 器 连同 上 面 
安装 的 操作 系统 和 应 用 转换 为 虚拟 机 ， 常 用 于 将 已 有 应 用 系统 由 物理 服 
务 器 平台 迁移 到 虚拟 机 平台 。 其 支持 离线 或 者 在 线 地 将 物理 服务 器 上 的 
操作 系统 (Windows/Linux) 迁移 到 虚拟 环境 。 


P2V 转 换文 持 离线 和 在 线 两 种 方式 。 在 线 方式 是 物理 服务 器 上 的 应 用 系 
统 在 对 外 提供 服务 的 过 程 中 实现 P2V 转 换 ， 转 换 完 成 后 切换 到 虚拟 机 继 
续 提 供 服务 ， 在 线 P2V 转 换 应 保证 业务 不 中 断 。 离 线 方式 是 在 转换 过 程 
中 ， 应 用 系统 不 对 外 提供 服务 。 


V2V 是 指 将 虚拟 机 从 一 种 虚拟 机 格式 转换 成 男 一 种 虚拟 机 格式 ， 文 持 跨 


主流 x86 虚 拟 化 平台 的 虚拟 机 间 的 转换 ， 可 以 目 动 检 测 并 丛 换 原 有 的 虚 
拟 硬件 设备 以 保证 虚拟 机 迁移 后 的 正常 运行 。 转 换 成 功 后 ， 虚 拟 机 支持 
正常 运行 ， 数 据 不 丢失 。 








目前 开业 务 普 裔 采用 数据 中 心 集中 管理 ， 统 一 对 外 提供 软 硬 件 资 源 ， 整 
个 云 数据 中 心 的 硬件 快速 扩容 ， 更 换 人 硬件 将 直接 影响 这 个 数据 中 心 的 业 
务 的 故 隐 恢复 和 系统 扩容 的 效率 。 因 此 ， 系 统 基于 网 络 的 人 硬件 即 插 即 用 
在 云 基础 设施 维护 中 变 得 至 关 重 要 。 
系统 从 硬件 插入 机 框 上 电 到 提供 计算 服务 资源 ， 全 流程 和 目 动 化 完成 。 
即 插 即 用 的 自动 化 机 制 包括 : 

” 硬件 的 上 自动 发 现 ; 


> 基础 管理 网 络 的 配置 〈 服 务 器 端口 网 络 属性 的 配置 、 物 理 交 换 
机 网 络 配置 和 了 P 地 址 自动 分 配 ) ; 


“操作 系统 的 上 自动 安装 ， 系 统 可 根据 用 户 配置 ， 目 动 完 成 各 种 操 
作 系 统 的 安装 ; 


”硬件 监控 信息 可 自动 检测 并 上 报 ， 监 控 指 标 包括 CPU、 内 存 、 
磁盘 IO、 网 络 带宽 和 物理 设备 的 静态 硬件 信息 。 


即 插 即 用 方便 系统 的 扩容 ， 减 轻 人 为 操作 带 来 的 误 操 作风 险 ， 并 大 大 减 
少 系 统 扩容 的 时 间 ， 满 足 业 务 的 快速 扩容 上 线 。 


服务 器 的 自动 化 发 现 流程 如 图 8-8 所 示 。 


本 地 资源 管理 由 物理 机 管理 、 网 络 管理 、 模 板 /镜像 管理 、PXE Server、 
PXE Client 共 同 完成 物理 机 的 上 自动 部 署 。 

















> 物理 机 管理 : 负责 物理 机 的 发 现 ， 通 过 IPMI 协 议 设置 BOIS 启 动 
方式 、 控 制 上 /下 电 ; 按 物理 机 硬件 配置 进行 池 化 管理 ， 根 据 租户 
请 求 选 择 合适 的 物理 机 进行 发 放 。 


” 网 络 管理 :自动 配置 物理 机 所 在 的 接 入 交换 机 和 汇聚 交换 机 ， 
使 物理 机 接 入 租户 的 指定 网 络 ， 与 其 他 物理 机 或 虚拟 机 互通 。 


>” DHCP Server: 自动 分 配 物 理 机 IP 地 址 ， 以 实现 物理 机 与 本 地 资 
源 管理 通信 。 


> PXE Server/PXE Client: 通过 PXE 协 议 控制 物理 机 自动 安装 租 
户 指 定 操 作 系 统 。 


” TFTP Server: 提供 SimpleOS 下 载 服务 。 





图 8-8 ”服务 器 的 自动 化 发 现 流程 


> SMM: 机 框 管理 单元 。 
> BMC: 服务 器 管理 单元 。 


其 具体 流程 如 下 。 


~ ”步骤 1: 服务 器 接 入 系统 后 ， 系 统 通 过 机 框 管理 单元 以 网 络 局 
动 ， 并 重 司 服务 器 。 


> “步骤 2: 服务 器 重启 后 ， 发 送 DHCP 请 求 ，DHCP 服 务 器 在 收 到 
DHCP 请 求 后 ， 发 送 给 物理 机 分 配 IP 地 址 的 DHCP 回 应 包 ， 内 容 包 
括 物 理 机 的 JP 地址 、TFTP 服 务 器 的 IP 地 址 和 开机 启动 文件 。 


”步骤 3: 服务 器 通过 TFTP 通 信 协 议 从 系统 下 载 开 机 局 动 文件 和 
We 并 在 内 存 中 完成 该 定制 操作 系统 的 安装 和 局 
ZJ。 


” ”步骤 4: 通过 新 安装 的 定制 操作 系统 获取 服务 器 静态 信息 〈 包 
括 CPU、 内 存 规格 、 版 本 和 网 络 地 址 信息 ) 。 


” ”步骤 5: 将 新 发 现 服务 器 的 监控 信息 上 报 给 系统 呈现 ， 并 将 服 
务 需 状态 标记 为 就 绪 状 态 ， 方 便 用 尸 得 找 和 申请 物理 机 服务 。 


服务 器 上 自动 化 部 普 如 图 8-9 所 示 。 


本 地 资源 管理 由 物理 机 管理 、 网 络 管理 、 横 板 /镜像 管理 、PXE Server、 
PXE Client 共 同 完 成 物理 机 的 自动 部 署 。 














> 物理 机 管理 : 通过 IPMI 协 议 设置 BOIS 启 动 方 式 、 控 制 上 /下 
电 ; 按 物 理 机 硬件 配置 进行 池 化 管理 ， 根 据 租户 请 求 选择 合适 的 物 
理 机 进行 发 放 。 


” 网 络 定理 :自动 配置 物理 机 所 在 的 接 入 交换 机 和 汇聚 交换 机 ， 
使 物理 机 接 入 租户 指定 网 络 ， 与 其 他 物理 机 或 虚拟 机 互通 。 





”DHCP Server: 自动 分 配 物 理 机 IP 地 址 ， 以 实现 物理 机 与 本 地 资 
源 管理 通信 。 


> PXE Server/PXE Client: 通过 PXE 协 议 控制 物理 机 自动 安装 租 
户 指 定 操作 系统 。 








图 8-9 ”服务 器 自动 化 部 署 


> TFTP Server: 提供 引导 程序 下 载 服 务 。 
> HTTP Server: 提供 操作 系统 镜像 下 载 服务 。 
其 具体 流程 如 下 。 


>” 步骤 1: 用 户 申请 物理 机 后 ， 资 源 池 管 理 通过 BMC 口 设置 从 网 
络 局 动 ， 并 重启 物理 机 。 


> 步骤 2， 物理 机 重启 后 ， 发 送 DHCP 请 求 ，DHCP 服 务 器 在 收 到 
DHCP 请 求 后 ， 发 送 给 物理 机 分 配 耳 地址 的 DHCP 回 应 包 ， 内 容 包 
括 物理 机 的 JP 地址 、TFTP 服 务 器 的 IP 地 址 和 开机 启动 文件 。 


步骤 3: 物理 机 通过 TFTP 通 信 协 议 从 服务 器 下 载 开机 局 动 文 
。 局 动 文件 接收 完成 后 ， 将 控制 权 转 交 给 局 动 块 ， 完 成 PXE 局 





ER 
an 


> ”步骤 4: 启动 块 从 镜像 管理 下 载 操 作 系统 镜像 到 物理 机 ， 启 动 
操作 系统 镜像 ， 自 动 完 成 操作 系统 安装 。 


8.3.2 务 器 有 去 





资源 池 管 理 模块 负责 处 理 用 户 的 服务 部 车 要 求 ， 实 现 部 普 和 配置 目 动 
化 。 可 根据 服务 对 应 的 资源 容量 、 规 格 、QoS 要 求 ， 目 动 完成 x86 服 务 
项、 小 型 机 、 存 储 设 备 、 网 络 设备 、 虚 拟 机 等 的 上 自动 部 车 和 配置 ， 也 能 
够 完成 数据 库 、 中 间 件 、 应 用 软件 、 系 统 补 丁 等 自动 化 安装 、 配 置 。 


从 裸 机 到 应 用 的 全 流程 的 目 动 化 部 敬文 持 如 下 服务 。 











> 操作 系统 部 署 : 支持 Windows、Redhat、Suse、Ubuntu 等 操作 
系统 自动 部 署 。 


> ”软件 安装 : 支持 数据 库 、Web 中 间 件 、JDK、 应 用 软件 等 软件 
目 动 安装 ， 可 以 在 物理 机 申请 时 和 申请 后 安装 。 


“更 新 操作 系统 补丁 : 物理 机 部 署 操作 系统 后 ， 操 作 系 统 如 果 有 
新 的 补丁 ， 用 户 可 以 选择 自动 化 更 新 补丁 。 


操作 系统 自动 化 


服务 器 操作 系统 自动 部 署 通过 PXE 机 制 实现 ， 完 成 卫 分 配 、 操 作 系 统 安 
装 、 操 作 系 统 补 本 安装， 总 体 方案 如 图 8-10 所 示 。 


资源 池 管 理 








镜像 服务 


(4) HTTP 


BMCD 管理 口 


图 8-10” ”总体 方案 


” 步骤 1: 用 户 申请 物理 机 后 ， 资 源 池 管 理 通 过 BMC 口 设置 从 网 
络 启动 ， 并 重启 物理 机 。 


> 步骤 2， 物理 机 重启 后 ， 发 送 DHCP 请 求 ，DHCP 服 务 器 在 收 到 
DHCP 请 求 后， 发 送 给 物理 机 分 配 IP 地 址 的 DHCP 回 应 包 ， 内 容 包 
括 物 理 机 的 IP 地 址 、TFTP 服 务 器 的 IP 地 址 和 开机 启动 文件 。 


. 步骤 3: 物理 机 通过 TFTP 通 信 协 议 从 服务 器 下 载 开机 局 动 文 
下 局 动 文 件 接收 完成 后 ， 将 控制 权 转 交 给 局 动 块 ， 完 成 PXE 局 
DB。o 





~ 步骤 4: 局 动 块 从 镜像 管理 下 载 操作 系统 镜像 到 物理 机 ， 局 动 
操作 系统 锐 像 ， 目 动 完成 操作 系统 安装 。 


软件 安装 /更 新 


数据 库 、 中 间 件 、 应 用 软件 等 安装 /更 新 部 署 的 目 动 化 方案 如 图 8-11 所 
外。 


目 动 化 具体 流程 如 下 。 

” ”步骤 1: 物理 机 部 署 成 功 后 ， 物 理 机 上 的 软件 安装 代理 〈 注 : 
制作 物理 机 镜像 时 ， 已 经 将 软件 安装 代理 包含 在 物理 机 镜像 中 ) 目 
动 癌 资源 池 管 理发 起 注册 。 


软件 镜像 服务 






资源 池 管 理 


i (2) 下 发 软件 安装 指令 FTP 服 务 


(3) 下 载 软件 包 


(4) 安装 软件 包 


Sy 


物理 机 








图 8-11 ” 数据库、 中间 件 、 应 用 软件 等 安装 /更 新 部 署 的 自动 化 方案 


~ ”步骤 2: 资源 池 管 理 癌 软件 安装 代理 推送 软件 安装 指令 。 软 件 
0 








” 步骤 3: 软件 安装 代理 连接 软件 镜像 服务 器 ， 通 过 FTP 下 载 软件 
Se 
Tvo 


> 步骤 4: 通过 代理 执行 软件 安装 /命令 进行 软件 安装 。 
8.4 民 构 1 统一 接 入 管 于 


云 管理 的 硬件 异 构 包 括 服 务 器 异 构 、 存 储 设备 异 构 和 网 络 设备 异 构 。 不 
同 厂商 的 设备 接口 存在 较 大 的 差异 ， 那 么 怎样 快速 、 简 单 地 接 入 不 同 设 
备 是 资源 管理 优先 考虑 的 问题 〈 见 图 8-12) 。 


异 构 硬 件 通 过 插件 技术 ， 可 以 在 不 需要 升级 版 本 的 情况 下 ， 通 过 适 配 方 
式 支 持 ， 业 务 可 不 受 影响 。 硬 件 资源 管理 系统 从 逻辑 上 分 为 三 层 ， 分 别 
为 O&M 应 用 服务 层 、 设 备 适 配 层 和 设备 通信 层 。O&M 应 用 服务 层 对 外 
提供 硬件 资源 操作 管理 维护 的 接口 ， 设 备 适 配 层 负责 封装 对 硬件 资源 的 
监控 和 业务 配置 操作 ， 对 上 提供 统一 的 服务 接口 ， 屏 蔽 与 异 构 设 备 的 通 
信 协 议 差 异 ; 设备 通信 层 负责 实现 与 设备 的 通信 ， 实 现 设 备 信息 的 查询 
和 配置 命令 的 下 发 。 对 外 提供 Web 形 式 的 操作 维护 平台 ， 用 户 可 通过 
Web 浏 览 器 进行 远程 管理 ， 同 时 对 外 提供 开放 统一 的 REST 北 癌 接 口 ， 
提供 硬件 资源 监控 和 业务 配置 接口 。 
















硬件 资源 管理 





服务 器 存储 设备 网 络 设备 国生 


EMC、 NetApp、 
华为 


图 8-12 ”硬件 资源 管理 


服务 器 接口 协议 支持 IPMI、SSH、SNMP， 存 储 设 备 接口 协议 支持 
TLV、SMI-S， 网 络 设备 接口 协议 支持 SSH、SNMP。 


服务 器 的 配置 信息 包括 名 称 、 位 置 、 管 理 IP 地 址 、BIOS、CPU 主 频 、 个 
数 、 内 存 大 小 、 硬 盘 容 量 、 网 卡 个 数 、 网 口 个 数 。 


交换 机 的 配置 信息 包括 位 置 、 交 换 机 管理 耳 地 址 、 型 号 、 类 型 、 状 态 。 


存储 设备 的 配置 信息 包括 存储 设备 位 置 、 产 品 型 号 、 状 态 、 管 理 耳 地 
址 、 磁 盘 数 量 。 


服务 器 设备 的 维护 包括 上 电 ， 下 电 ， 安 全 重 局 ， 安 全 下 电 ， 强 制 下 电 ， 
进入 维护 模式 ， 退 出 维护 模式 ， 一 键 式 上 电 、 下 电 所 有 服务 器 。 


对 于 异 构 的 物理 设备 ， 系 统 提供 强大 完备 的 监控 能 力 ， 可 以 呈现 设备 的 
实时 监控 指标 ， 也 可 以 呈现 设备 的 历史 监控 指标 ， 如 监控 服务 器 的 
CPU、 内 存 和 磁盘 占用 率 、 网 络 设备 的 流量 、 存 储 设备 的 IOPS 等 。 


异 构 物理 设备 的 故障 告警 支持 对 各 类 设备 的 告警 进行 统一 呈现 和 统一 操 
作 ， 如 磁盘 、 风 扇 故 障 告警 、 温 度 过 高 告警 、 设 备 离线 告警 等 。 


8.5 服务 目录 和 应 用 管理 


服务 目录 管理 是 指 根据 目录 类 别 对 资源 服务 进行 分 级 管理 和 显示 。 根 据 
应 用 场景 ， 服 务 目 录 分 为 以 下 两 部 分 。 














” 服务 申请 : 给 管理 员 提 供用 户 目 助 管理 界面 ， 管 理 员 可 以 一 键 
式 快速 创建 应 用 ， 还 可 以 方便 得 看 应 用 的 部 警报 告 和 创建 进度 。 





= 应 用 管理 : 文 持 服务 目录 的 生成 、 发 布 、 修 改 、 删 除 、 碍 询 和 
导入 导出 ， 文 持 分 级 目录 管理 ;监控 应 用 日 志 ， 监 控 应 用 运行 情况 
和 变更 ， 便 于 管理 员 及 时 发 现 和 定位 应 用 故障 。 


8.5.1 ”应 用 发 布 流 程 介绍 


服务 目录 为 用 户 提 供 了 方便 的 、 获 取 资 源 的 途径 ， 用 户 可 以 通过 服务 目 
录 目 动 化 获取 资源 ， 并 在 资源 上 部 著 用 户 需要 的 应 用 。 

业务 管理 员 在 得 到 系统 管理 员 授权 后 ， 可 以 自助 进行 服务 发 放 和 管理 。 
业务 管理 员 可 以 自 定义 服务 模板 ， 灵 活 部 暮 服 务 ， 并 且 可 以 共享 模板 。 


云 少 理 平台 提供 用 户 自 助 门户 访问 服务 模板 目录 ， 可 以 根据 服务 模板 创 
建 应 用 、 管 理发 放 应 用 的 功能 〈 见 图 8-13) 。 

















图 8-13 ”应 用 发 布 流程 
> 模板 准备 


管理 员 可 以 根据 企业 不 同 的 应 用 需求 ， 上 传 并 管理 应 用 的 软件 包 ， 为 应 
用 服务 模板 的 设计 提供 应 用 软件 组 件 。 


” 创建 服务 目录 


管理 平台 通过 服务 目录 来 管理 不 同 的 应 用 模板 ， 通 过 服务 目录 做 分 类 处 
理 ， 便 于 后 续 的 统一 维护 和 管理 。 


” 制作 应 用 模板 
对 于 应 用 模板 的 制作 ， 业 界 目前 有 两 种 方式 ， 伪 编程 模式 和 拖 搜 交互 


式 。 伪 编程 模式 ， 通 过 管理 平台 提供 的 大 量 接口 ， 可 以 灵活 地 实现 业务 
逻辑 和 应 用 关系 ， 但 是 对 管理 员 要 求 较 高 ， 需 要 经 过 专业 的 理论 和 实践 














学 习 ; 拖 搜 交互 式 ， 将 应 用 制作 过 程 模 块 化 、 简 单 化 ， 通 过 工具 在 画布 
上 拖 搜 对 应 的 设备 ， 实现 应 用 模板 的 制作 和 调试 过 程 对 管理 员 和 要 求 
低 ， 可 以 快速 入 手 。 


随 厦 云 计算 走 进 中 小 企业 ， 拖 搜 式 交互 是 云 清理 应 用 部 署 的 发 展 方 问 ， 
所 以 本 文通 过 这 种 方式 来 说 明 应 用 的 部 署 。 


应 用 部 著 模 板 设 计 工具 提供 用 户 可 视 化 设计 ， 用 户 可 以 简单 地 通过 在 画 
布 上 拖 搜 的 方式 ， 方 便 快 捷 地 完成 应 用 部 普 模 板 的 设计 《〈 见 图 8-14)。 同 
时 通过 资源 间 的 连 线 ， 用 户 可 以 方便 地 定义 应 用 中 的 资源 依赖 关系 ， 然 
后 用 户 就 可 以 通过 设计 好 的 模板 发 放 应 用 了 。 




















图 8-14 应 用 部 署 模板 设计 工具 
服务 模板 由 虚拟 机 模板 、 软 件 包 、 网 络 和 伸缩 组 等 构成 ， 虚 拟 机 模板 中 
可 以 定义 初始 化 命令 、 局 动 命 令 和 停止 命令 。 软 件 包 中 可 以 定义 安装 命 
令 、 郝 载 命 令 、 局 动 命 令 和 停止 命令 。 伸 缩 组 中 可 以 定义 伸缩 策略 。 
” 应 用 实例 发 布 


其 提供 用 户 上 自助 门户 访问 服务 模板 目录 ， 一 键 式 快速 创建 应 用 以 及 碍 看 
应 用 的 部 普 报 告 和 创建 进度 。 


业务 管理 员 通 过 目 助 门户 访问 服务 模板 目录 ， 根 据 应 用 需求 选择 相应 的 














服务 模板 ， 配 置 应 用 网 络 以 及 选择 应 用 的 管理 员 ， 快 速 部 署 应 用 。 在 应 
用 部 署 过 程 中 ， 业 务 管理 员 可 以 查看 应 用 部 署 报告 和 实时 进度 。 


在 应 用 部 署 中 ，VM 的 创建 和 软件 分 发 流程 如 图 8-15 所 示 。 
部 团 


部 辕 
服务 软件 仓库 代理 
(Repository) 


TA 创建 虚拟 机 
R @ 业务 VM 


虚拟 机 创建 往 程 





发 安装 任 甸 部 加 
所 安 用 什 分 代理 
部 轩 软件 仓库 国 
服务 (Repository) 
- 下 载 软件 9 
SUSE °C Windows 
云 管理 业务 VM 


软件 包 安 装 流 各 
图 8-15 VM 的 创建 和 软件 分 发 流程 
应 用 软件 自动 部 悍 原 理 


” 部署 服 务 根据 应 用 模板 中 定义 的 虚拟 机 和 网 络 关 系 以 及 虚拟 机 
模板 创建 业务 虚拟 机 并 分 配 网 络 ， 业 务虚 拟 机 创建 完成 后 ， 操 作 系 
统 即 安装 完成 。 

” 业务 虚拟 机 上 已经 安装 了 部 署 代 理 《〈 部 署 代理 在 制作 虚拟 机 模 
板 的 过 程 中 被 制作 到 模板 当中 ， 因 此 虚拟 机 创建 出 来 后 部 署 代理 已 





经 在 运行 ) 。 部 闭 代 理 局 动 后 ， 会 与 部 普 服 务 通 信 ， 部 若 服 务 将 安 
装 任务 推送 给 部 署 代 理 。 


” 部 署 代理 根据 安装 任务 ， 去 软件 仓库 〈Repository) 中 下 载 对 应 
的 软件 ， 然 后 进行 安装 。 


8.5.2 ”应 用 管理 原理 
应 用 管理 提供 用 户 管理 发 放 的 应 用 的 功能 ， 包 括 管理 应 用 的 生命 周期 、 
查看 应 用 的 监控 日 志 以 及 通过 应 用 拓扑 实时 查看 和 管理 应 用 内 部 虚拟 
机 、 网 络 等 。 
应 用 管理 包括 : 


0 
和 删除 ; 

















” 应 用 监控 日 志 ， 提 供 管理 员 监 管 应 用 运行 情况 和 变更 操作 的 功 
能 ， 便 于 管理 员 及 时 发 现 和 定位 应 用 故障 ; 


” ”应 用 拓扑 管理 ， 管 理 员 可 以 可 视 化 地 查看 应 用 内 部 的 组 网 结 
构 ， 管 理应 用 虚拟 机 。 


在 企业 实际 使 用 中 ， 应 用 会 周期 出 现 业 务 量 的 上 升 和 下 降 ， 比 如 第 三 方 
文 付 应 用 ， 在 圣诞 、 新 年 等 重大 节日 前 ， 业 务 量 会 比 平 时 增加 几 倍 。 所 





dy 


从 企业 应 用 的 场景 看 ， 弹 性 伸缩 可 以 分 为 三 类 。 


” 组 内 目 动 伸缩 策略 : 针对 单独 的 应 用 而 言 ， 可 根据 应 用 当前 的 
负载 动态 调整 应 用 实际 使 用 的 资源 ， 当 应 用 资源 负载 较 高 时 ， 目 动 
添加 虚拟 机 并 且 安 装 应 用 软件 ， 当 应 用 的 资源 负载 很 低 时 ， 目 动 释 
放 相 应 的 资源 。 


” 组 间 资 源 回收 集 略 : 当 系 统 资源 不 足 的 情况 下 ， 系 统 可 以 根据 
组 间 设 置 的 资源 复 用 全 上 略 ， 使 优先 级 蜗 的 应 用 使 用 资源 ， 使 优先 级 





低 的 应 用 释放 资源 。 


> ”时 间 计划 策略 : 时 间 计划 策略 允许 用 户 对 于 不 同 的 应 用 实现 次 
源 的 分 时 复 用 。 用 户 可 以 设置 计划 策略 ， 使 得 不 同 的 应 用 分 时 段 地 
使 用 系统 资源 ， 比 如 白天 让 办 公用 户 的 虚拟 机 使 用 系统 资源 ， 到 了 
晚间 可 以 让 一 些 公共 的 虚拟 机 占用 资源 。 





服务 运 维 模 块 提供 统一 的 服务 管理 流程 和 文 撑 功 能 ， 实 现 运 维 管理 人 员 
对 日 常服 务 运 维 的 集中 管理 。 系 统 将 服务 运 维 管理 数据 集中 整合 ， 并 以 
适当 的 形式 呈现 ， 文 持 维护 人 员 进 行 运 维 故障 定位 、 诊 断 和 解决 等 运 维 





dy 


” 以 ITIL V3 为 基础 开展 服务 运 维 管理 ， 推 广 IT 服务 管理 理念 。 从 
管理 要 求 和 技术 手段 两 个 层面 提高 信息 化 的 工作 效率 和 服务 水 平 ， 
从 而 满足 日 益 增 长 的 信息 技术 和 服务 的 需求 ， 提 高 响应 效率 ， 促 进 
用 户 满意 度 提升 。 








” 通过 优化 运 维 管理 体系 ， 明 确 IT 服务 管理 体系 组 织 结 构 和 相应 
管理 。 


” 对 现 有 的 开 运 维 体系 进行 梳理 并 实施 规范 化 的 流程 设计 。 执 行 
完善 的 事件 、 服 务 请 求 、 变 更 、 配 置 、 信 息 发 布 管理 流程 。 通 过 上 
述 流程 的 建设 和 推广 ， 后 续 可 以 逐步 将 全 服务 运 维 管理 不 断 深化 ， 
扩大 服务 管理 流程 的 实践 范围 。 





“对 运 维 工 作 进行 量化 ， 建 立 配套 的 衡量 指标 和 日 常 管理 制度 ， 


” 提供 集中 整合 的 服务 运 维 管理 数据 ， 为 管理 决策 提供 支持 。 
服务 运 维 模块 实现 的 服务 管理 流程 包括 服务 请 求 管理 、 事 件 管理 、 变 更 


管理 、 配 置 管理 、 信 息 发 布 管理 ， 各 省 理 流程 之 间 紧 密 关 联 ， 并 与 其 他 
模块 及 子 系统 进行 有 效 衔接 。 


” 与 服务 运营 模块 集成 :， 服务 运营 模块 面 问 用 户 提供 目 助 服务 ， 
当 用 户 提 交 的 服务 请 求 、 资 源 变 更 涉及 人 工 执行 环节 ， 或 提交 投诉 
建议 、 故 障 申告 时 ， 将 通过 系统 间接 口 发 送 至 服务 运 维 的 相关 管理 
流程 ， 目 动 创 建 工 单 ， 并 将 处 理 状态 、 处 理 结 果 等 返回 服务 运营 用 
户 界 面 ， 从 而 形成 器 到 端的 闭环 服务 管理 流程 。 





” 与 全 局 资源 管理 模块 集成 :， 服务 运营 模块 采用 定时 同步 机 制 ， 
保证 配置 管理 信息 与 统一 CMDB 的 数据 一 致 性 。 








” 本 地 资源 管理 系统 集成 :本 地 资源 管 系统 的 告警 会 统一 汇聚 到 
全 局 的 运 维 中 心 ， 运 维和 人员 在 全 局 的 运 维 中 心 内 集中 监控 资源 的 状 
态 ， 并 处 理 各 个 数据 中 心 汇聚 上 来 的 告警 。 


根据 预定 义 事件 单 生成 规则 ， 全 局 的 运 维 中 心中 的 故 隐 告 警 会 在 服务 运 
营 管 理 器 中 触发 告警 类 事件 单 的 目 动 创建 ， 由 运 维 人 员 按 照 预定 义 的 事 
件 处 理 流 程 ， 进 行事 件 的 处 理 。 


事件 处 理 流程 结束 时 ， 服 务 运营 管理 器 可 以 按照 预定 义 规则 ， 触 发 本 地 
资源 管理 系统 服务 目 动 化 部 件 执行 事件 的 目 动 恢复 。 


8.7 太平 台 第 二 亲人 A 资源 使 用 计量 


资源 使 用 计量 是 指 资源 池 管 理 平 合 从 资源 池 系 统 或 用 户 订单 获取 用 户 资 
源 使 用 信息 ， 并 根据 用 户 使 用 资源 信息 生成 资源 使 用 计量 文件 。 资 源 使 
用 计量 可 以 按照 资源 类 别 、 业 务 系统 和 用 户 总 拥有 资源 进行 汇总 统计 。 
计量 文件 可 以 给 统计 分 析 等 模块 提供 信息 ， 用 于 用 户 资源 使 用 信息 的 展 
示 、 统 计 及 分 析 等 。 


计量 话 单 包括 计 次 话 单 、 审 计 话 单 、 负 载 均 衡 流 量 话 单 和 弹性 卫 流 量 话 
单 。 








” 计 次 话 单 : 在 用 户 进行 虚拟 机 、 块 存储 、 备 份 和 各 类 网 络 资源 
的 申请 、 修 改 、 释 放 、 冻 结 和 解冻 等 操作 时 ， 记 录 相 关 信 息 到 文 





件 ， 然 后 发 送 给 话音 服务 器 ， 生 成 用 户 话 单 。 其 包括 的 信息 有 : 话 
单 长 度 、 流 水 写 、 话 单 类 型 、 服 务 类 型 、 资 源 标 识 、 操 作 标 识 、 操 
作 时 间 、 资 源 信息 等 。 





> 审计 话 单 ， 是 对 计量 话 单 的 补充 ， 在 计 次 信息 遗漏 时 ， 为 计 费 
提供 依据 。 这 些 话 单 可 以 协助 计 费 中 心 实现 按时 段 收费 、 对 账 等， 

审计 对 象 包括 实例 运行 时 间 、 存 储 使 用 时 间 、 弹 性 了 占用 时 间 等 

其 包括 的 信息 有 话 单 长 度 、 流 水 号 、 话 单 类 型 、 服 务 类 型 、 资 源 标 
识 、 操 作 标识 、 操 作 时 间 、 审 计 信息 等 。 











”负载 均衡 流量 话 单 : 系统 定时 记录 每 个 负载 均衡 器 的 流量 信息 
到 文件 ， 然 后 发 送 给 话 蛙 服务 器 ， 用 于 生成 用 户 话 单 。 其 包括 的 信 
恩 有 : 创建 时 间 、 报 文 个 数 、 报 文 信息 列表 含 流 量 字 市 数 ) 等 。 





” 弹性 IP 流 量 话 单 : 系统 实时 收集 来 自 网 络 的 弹性 IP 流 量 信息 ， 
记录 到 文件 ， 然 后 发 送 给 话 单 服务 器 ， 生 成 用 户 话 单 。 其 包括 的 信 
恩 有 : 创建 时 间 、 报 文 个 数 、 报 文 信息 列表 含 流 量 字 市 数 ) 等 。 











客户 简介 


M 运 营 丙 是 一 家 大 型 网 络 的 移动 通信 运营 商 ， 资 产 规模 超过 万 亿 元 人 民 
币 ， 拥 有 全 球 领先 的 网 络 和 客户 规模 。 其 主要 经 营 移 动 话 首 、 数 据 、IP 
电话 和 多 媒体 业务 ， 并 具有 计算 机 互联 网 国际 联网 单位 经 营 权 和 国际 出 
入 口 局 业务 经 营 权 。 除 提供 基本 话 首 业务 外 ， 其 还 提供 传真 、 数 据 、IP 
电话 等 多 种 增值 业务 。 


bt 上 挟 . 
月 页 





M 运 营 商 是 中 国 云 计 算 的 先行 者 和 积极 倡导 者 。2007 年 启动 了 云 计 算 的 
研究 项 目 。2011 年 12 月 正式 发 布 了 个 人 云 服务 ， 是 国内 最 早 进行 云 计算 
研究 和 实践 的 单位 之 一 。M 运 营 商 在 云 计 算 研发 、 规 划 和 建设 以 及 对 云 
计算 的 商业 部 署 和 推广 等 方面 均 投 入 巨大 。 云 计算 业务 在 企业 内 部 私有 
云 和 各 业务 基地 进行 广泛 的 商业 部 署 和 应 用 ， 并 且 在 多 个 政 企 客户 处 实 








现 了 落地 。M 运 营 商 计划 建设 专业 的 云 计算 中 心 ， 进 一 步 加 强 云 计算 方 
面 的 研发 与 创新 能 力 ， 同 时 不 断 加 大 投入 ， 积 极 布局 云 计 算 基 础 设施 。 
为 满足 云 计 算 的 发 展 ， 其 在 原 有 规划 的 广东 、 北 泵 等 大 型 基地 的 基础 

上 ， 投 入 数 百 亿 元 的 资金 在 哈尔滨 、 呼 和 浩特 等 地 建设 大 规模 数据 中 

心 。 这 些 数据 中 心 将 采用 模块 化 设计 、 新 型 供电 和 制冷 、 定 制 化 的 服务 
右 等 新 搁 术 ， 实 现 融 效 绿色 的 云 计算 服务 。 随 着 多 地 云 计算 数据 中 心 的 
建成 ，M 运 营 丙 加 快 部 署 、 全 力 推动 云 计 算 的 全 面 商 用 。M 运 营 商 云 计 
算 采 用 双 云 多 池 、 集 中 管理 、 分 散 部 署 的 原则 进行 规划 。 双 云 即 公 共 服 
务 云 和 企业 私有 云 两 大 云 计算 平台 ， 多 池 即 每 个 云 计 算 平台 都 在 全 国 建 
设 多 个 资源 池 ， 为 了 提高 管理 效率 ， 公 共 服 务 云 和 企业 私有 云 都 需要 建 
设 集 中 的 运营 管理 平台 。 


解决 方案 


M 运 营 商 提供 统一 的 虚拟 化 和 资源 池 管 理 ， 集 成 HUAWEI、IBM、HP、 
Fujitsu、Cisco、Juniper 等 8 个 厂商 的 开设 备 ， 提 供 统一 云 管理 运营 平 
台 ， 管 理 天 津 私 有 云 、 广 东 基 地 公有 云 和 北京 云 计算 资源 池 ， 实 现 弹 性 
调度 。 


其 一 期 建设 2000 台 服务 器 规模 ，5PB 存 储 规模 ， 业 务 主要 有 内 部 电子 邮 
件 系统 、 数 字 档 案 系统 、 支 撑 网 测试 平台 、 统 一 知识 社区 、 网 管 支撑 系 
统 、MC 口 信 令 监测 系统 、 数 据 业 务 监测 与 分 析 系统 、 信 息 安全 系统 、 

骚扰 电话 监控 、 虚 假 主 叫 监控 、 手 机 恶意 软件 监控 、 垃 圾 短信 监控 、 不 


恨 信息 监控 等 。 

M 运 营 丙 选择 云 平 台 的 主要 特点 具体 如 下 。 

(1) 高 性 价 比 : 高 性 能 ， 价 格 合理 。 

(2) 安全 可 靠 : 虚拟 化 平台 支持 HA、 容 灾 、 双 活 数 据 中 心 等 能 力 ， 自 
动 实现 业务 的 容 灾 和 备份 ， 在 业务 的 升级 和 例 行 维护 中 ， 可 以 有 效 利用 
虚拟 化 平 合 的 热 迁 移 功 能 ， 实 现 业务 不 中 断 。 


(3) 运营 简捷 高 效 : 可 视 化 管理 ， 统 一 集中 管理 ， 降 低 运营 成 本 。 


























行 多 个 虚拟 机 和 应 用 ， 改 变 了 一 个 应 用 独 操 一 台 服 务 器 的 低 效 业务 烟 向 
模式 。 如 此 一 来 ， 其 将 大 幅 提 升 开 资源 利用 紊 ， 实 现 资源 动态 分 配 ， 绚 
短 业 务必 布 时 间 ， 可 以 帮助 M 运 营 商 从 容 应 对 市 场 的 快速 变化 。 


” 解决 原 有 EDC 容 量 瓶 颈 ， 建 设 虚拟 化 弹性 资源 地， 实现 信息 有 


效 管控 。 
> 工程 节省 投资 的 30%。 


>” 业务 上 线 由 原来 的 一 个 月 缩短 到 2 天 。 





T 运 营 商 是 一 家 面向 全 球 提供 通信 、 互 联网 等 综合 性 服务 的 国际 电信 公 
司 。T 运 营 商 为 40 多 个 国家 的 客户 提供 服务 ， 是 世界 最 大 的 电信 运营 商 
之 一 。 早 在 2010 年 ，T 运 营 商 已 经 把 云 化 作为 其 战略 目标 ， 将 核心 业务 
向 云 计 算 推进 ， 和 希望 实现 全 球 业 务 云 化 整合 的 目标 。 然 而 ， 经 过 几 年 的 
建设 ， 云 并 没有 给 工 运 营 商 带 来 显著 的 商业 机 遇 ， 传 统 电信 业务 的 成 本 
居 高 不 下 ，VDI、SaaS 等 新 型 云 业 务 基 本 处 于 停滞 状态 ， 传 统 的 优势 地 
位 正 受到 竞争 对 手 的 严重 挑战 。 


” 云 业务 价格 过 高 ， 现 今 主流 的 云 平 台 ， 如 许多 知名 厂商 都 误 吹 
其 拥有 强大 的 能 力 ， 能 够 带 来 蜗 效 的 资源 利用 率 。 而 实际 上 ， 引 入 
云 的 妨 一 面 古 高 郧 的 维护 和 协调 成 本 ， 将 推 高 业务 成 本 。 


~ 云 业 务 产 业 链 不 完善 ， 由 于 缺乏 统一 规划 ， 零 散 的 VDI、 云 主 
机 或 大 量 的 SaaS 业 务 很 难 形成 完全 产业 链 ， 商 业 模 式 的 差异 以 及 市 
场 的 变化 使 得 云 业 务 难以 达成 两 业 战略 意义 。 


























” 新 业务 上 线 时 间 过 长 ， 以 一 个 云 主 机 出 租 业 务 为 例 ， 从 市 场 调 
研 、 需 求 分 析 、 模 型 设计 、 开 架构 部 署 到 最 后 业务 上 线 ， 通 党 要 经 
历 6 一 9 个 月 的 时 间 。 








> 新 业务 上 线 需 要 太 多 时 间 ，IT 系 统 对 问题 的 响应 时 间 过 慢 ， 尤 
其 是 对 路 地 域 、 跨 平台 的 网 络 问题 不 能 及 时 解决 。 


~ IT 投 入 过 高 ， 据 统计 ， 每 年 IT 投 入 (包括 Capex 和 Opex〉 占 T 运 
营 商 总 收入 的 4% 以 上 ， 约 20 亿 一 23 亿 美元 ， 对 于 电信 业务 为 核心 
In 
了 商业 发 展 。 


云 没 有 为 网 络 带 来 实际 的 价值 ， 传 统 的 带宽 出 租 业 务 正 在 被 新 型 的 高 价 
值 业 务 冲击 ， 市 场 空间 日 益 萎缩 ， 云 计算 被 寄 希 望 去 改变 这 种 趋势 ， 然 
而 当前 的 运营 商 并 没有 获 益 。T 运 营 商 从 对 传统 全 的 整合 与 改造 出 发 ， 
0 
天 ?3 


我 们 从 流程 和 技术 的 角度 分 析 I 运 营 商 当前 的 现状 。 

组 织 流 程 孤 立 
IT 运 营 商 当 前 的 组 织 架 构 是 烟 移 式 管理 方式 ， 从 横 回 维度 上 看 ， 每 个 业 
务 系统 从 建设 、 维 护 到 管理 部 是 互相 孤立 的 ， 如 M2M、Video 业 务 等 由 
不 同 团 队 人 员 维 护 ， 丙 业 模 式 和 技术 相对 封闭 ， 从 纵 癌 维度 上 看 ， 每 个 


国家 都 独立 管理 自身 的 业务 ， 缺 乏 有 效 的 沟通 联动 ， 这 造成 了 资源 的 浪 
费 ， 经 营 成 本 拓 高 不 下 《〈 见 图 8-16) 。 




















现代 组 织 管理 理念 


只 有 将 人 力 资 源 、 各 种 应 用 和 IT 基础 架构 统一 看 做 资源 池 ， 有 序 地 实现 
跨 地 域 、 跨 平台 的 资源 调度 ， 才 能 将 组 织 的 优势 发 挥 至 最 大 。 


IT 架构 封 网 


在 电信 和 领域， 其 业务 系统 长 期 处 于 较 封闭 的 状态 ， 如 SGSN、MME、 
WAG 等 超过 30 种 的 业务 系统 依然 采用 定制 的 服务 器 。 此 外 ， 由 于 不 同 
阶段 技术 的 演进 ，T 运 营 商 在 欧洲 、 拉 美 等 十 几 个 国家 共 建 设 了 超过 27 
个 不 同 规模 的 数据 中 心 〈 机 房 ) ， 拥 有 超过 15 ”000 台 不 同 规格 的 服务 
300 余 种 应 用 ，10 多 种 异 构 数据 库 。 图 8-17 为 T 运 营 丙 分 布 式 
去 心 。 
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图 8-17 TT 运营 商 分 布 式 云 数据 中 心 
ALL IT ALL ONLINE 战略 


随 着 深入 分 析 ，T 运 营 商 意识 到 传统 电信 领域 的 困境 不 会 因为 一 个 个 孤 
立 的 IT 升级 或 者 虚拟 化 等 技术 的 引入 就 得 到 解决 ， 相 反 还 会 带 来 管理 复 
杂 等 新 问题 ， 因 此 ALL IT ALL ONLINE 战略 成 为 必然 选择 。 


ALL IT 指 的 是 传统 电信 业务 系统 逐步 x86 化 ， 首 先 将 原 有 封闭 定制 的 CT 
系统 迁移 至 x86 服 务 费 上 ， 随 后 及 用 分 布 式 云 的 架构 将 所 有 资源 融合 成 
为 一 个 “物理 分 散 ， 逻 辑 统一 ”的 资源 地 ， 从 而 实现 ICT 的 深度 融合 。 


ALL ”ONLINE 指 的 是 自动 化 的 流程 ， 以 统一 的 管理 平台 作为 流程 的 载 
体 ， 面 向 内 外 部 客户 提供 统一 的 服务 入 口 ， 实 现 服 务 提 供 、 服 务 保障 和 
服务 运营 的 三 足 易 立 ， 打 破 现 有 组 织 和 流程 的 割裂 格局 ， 提 升 管理 效 








率 ， 实 现 丙 业 成 功 。 

在 此 战略 中 ，T 运 营 采 用 了 分 布 式 云 数据 中 心 架构 ， 将 多 个 不 同 地 域 、 
不 同 阶 段 、 不 同 规模 的 数据 中 心 的 所 有 资源 通过 逻辑 集中 ， 统 一 管理 、 
统一 呈现 、 统 一 运营 ， 从 而 充分 利用 T 运 营 丙 已 有 资源 ， 文 撑 ICT 服 务 
能 力 融 速 友 展 。 

(1) 第 一 步 : 数据 中 心 整合 


根据 7 运营 商 的 实际 业务 情况 ，IT 基 础 架构 需要 满足 其 电信 业务 的 特 





T 运 营 商 的 数据 中 心 规划 具体 如 下 。 


”3 个 区 域 数 据 中 心 : 地 点 位 于 西班牙 、 墨 西 哥 和 巴西 ， 运 行 多 
种 系统 ， 连 接 该 地 区 的 所 有 业务 用 户 。 


> 16 个 本 地 数据 中 心 : 集中 式 架 构 ， 运 行 单个 业务 系统 。 
经 过 整合 后 ， 现 仅 存 在 两 种 类 别 数据 中 心 ， 即 备份 与 全 局 应 用 类 和 在 线 
业务 节点 类 ， 扁 平 化 的 结构 更 利于 全 局 管理 和 调度 。 数 据 中 心 整 合 既 保 
障 了 现 网 业务 的 高 质量 运行 ， 又 为 后 续 建 设 资源 池 建 设 打 下 了 基础 。 

(2) 第 二 步 : IT 基础 架构 

T 运 营 商 采用 分 布 式 云 数据 中 心 的 开 基 础 架构 ， 将 各 类 物理 及 虚拟 化 基 
础 设施 、 软 硬件 资源 、 人 力 资源 统一 看 做 资源 池 进 行 管理 及 应 用 ， 实 现 
跨 数 据 中 心 的 资源 调度 。 

>” 分 布 式 和 虚拟 化 是 核心 
其 针对 T 运 营 商 跨 地 域 的 业务 模型 、 分 布 式 的 I 架构 ， 拉 通 多 个 站 点 的 
计算 、 存 储 与 网 络 资源 弹性 调度 ， 提 供 对 资源 请 求 者 相对 透明 的 最 优化 
资源 利用 和 调度 。 

> 智能 网 络 方案 是 基础 


其 将 网 络 设备 控制 面 与 数据 面 分 离开 来 ， 以 网 络 操作 系统 的 概念 使 底层 











网 络 设 备 的 具体 细 市 抽象 化 ， 同 时 还 为 上 层 应 用 提供 统一 的 管理 视图 和 
编程 接口 。 这 种 智能 网 络 解雇 方案 让 电信 业务 只 需要 对 网 络 资源 提出 需 
求 ， 无 需 关 心底 层 网 络 的 物理 拓扑 结构 ， 为 核心 网 络 及 应 用 的 创新 提供 
恨 好 的 平台 《〈 见 图 8-18) 。 
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图 8-18 ”智能 网 络 方案 
” 统一 管理 解决 方案 是 灵魂 


对 于 跨 多 个 云 数 据 中 心 站 点 的 所 有 资源 ， 其 实现 全 生命 周期 内 (包括 自 
动 化 发 现 与 配置 、 管 理 软件 安装 部 车、 资源 发 放 与 回收 、 业 务 应 用 软件 
部 普 、 资 源 实 时 占用 状态 监控 、 告 警 故障 等 ) 的 全 方位 的 管理 功能 。 


(3) 第 三 步 : 一 切 色 为 服务 


虚拟 化 的 数据 中 心 已 经 就 绪 ， 路 数据 中 心 的 网 络 管道 也 有 具备 智能 调度 的 
功能 ， 统 一 对 外 提供 服务 成 为 T 运 营 商 接 下 来 的 核心 任务 。 


统一 的 服务 门户 和 开放 的 API 将 资源 池 转 变 成 一 个 服务 中 心 ， 定 义 和 公 
开 服 务 目录 ， 让 内 外 客户 按 需 申请 、 使 用 和 退 订 ， 并 精确 地 对 资源 进行 
计量 。 此 外 ， 平 台 还 提供 自助 服务 门户 ， 对 用 户 设置 不 同 的 角色 ， 根 据 
角色 对 用 户 进 行 权限 控制 。 用 户 通 过 一 个 统一 的 门户 网 站 自行 选择 服务 
目录 ， 快 速 部 署 业 务 和 运 维系 统 ， 增 强 管理 效率 。 



































> 区 域 服 务 经 理 : 负责 管理 所 有 的 数据 中 心 (DC，Data 
Center) ， 创 建 和 维护 服务 水 平 协 议 。 


“本 地 服务 经 理 : 文 持 本 地 数据 中 心 的 运 维 操作 ， 并 提供 本 地 资 


源 信 忆 O 


” 虚拟 数据 中 心服 务 经 理 : 对 每 个 VDC (Virtual Data Center， 虚 
拟 数据 中 心 ) 进行 服务 文 持 ， 保 障 服务 质量 ， 监 控 和 维护 管理 工 


RN 


(4) 第 四 步 : 服务 自动 化 


服务 的 目 动 化 是 T 运 营 商 商业 成 功 的 保障 。 其 采用 Orchestration 软 件 对 运 
营 商 执行 的 日 常任 务 和 职能 进行 编排 。 其 将 协调 服务 器 、 客 户 问 和 网 络 
设备 的 自动 化 解决 方案 ， 从 而 更 快 地 配置 资源 。 服 务 的 自动 化 将 实现 跨 
多 个 应 用 程序 和 工具 ， 以 及 跨 多 个 IT 群体 的 操作 自动 化 ， 从 而 使 跨 数据 
中 心 的 业务 互联 互通 变 得 更 容易 、 更 快 、 更 可 靠 。 这 里 流程 的 基本 定义 
是 至 关 重 要 的 ， 因 为 T 运 营 商 的 物理 数据 中 心 和 虚拟 数据 中 心 内 可 能 都 
是 租户 ， 需 要 在 多 租户 环境 下 提供 IT 资源 ， 按 需 分 配 ， 利 用 流程 来 保障 
分 配 过 程 的 有 序 和 可 管理 。 

此 外 ， 服 务 自 动 化 还 包含 计 费 管理 、 资 产 和 配置 管理 、 软 件 许可 管理 、 


变更 和 发 布 管理 、 服 务 合 、 服 务 水 平 管理 系统 等 模块 ， 实 现 上 自动 化 服务 
管理 ， 形 成 深入 、 智 能 的 分 布 式 云 数 据 中 心 。 

















T 运 营 商 收益 
T 运 营 商 借助 本 项 目 ， 规 划 出 未 来 电信 数据 中 心 的 架构 设想 ， 其 最 大 的 


收益 在 于 制度 标准 和 规范 的 制定 ， 其 可 供 全 球 24 个 子 网 使 用 《〈 见 图 8- 
19) 
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图 8-19 TI 运营 商 的 收益 
其 具有 以 下 两 个 优点 。 


”降低 成 本 : 分 布 式 云 数 据 中 心 基 础 架构 以 标准 化 组 件 、 简 化 基 
础 架构 使 得 所 有 的 软 、 硬 件 设 施 和 人 力 资 源 被 看 做 是 一 个 统一 

的 “逻辑 资源 地 ”， 通 过 全 局 拉 通 来 进行 管理 调度 。 其 从 根本 上 解决 
了 烟 移 式 的 投资 模式 ， 实 现 高 投资 回报 率 。 








” 提升 效率 ， 以 业务 为 中 心 实现 流程 标准 化 、 部 署 模板 化 、 服 务 
自动 化 。 目 前 总 部 可 以 实现 对 全 球 30 多 个 不 同 地 区 的 数据 中 心 进行 
实时 管理 ， 部 普 新 业务 ， 全 球 数据 中 心 统 一 入 口 ， 统 一 呈现 ， 统 一 
管理 ， 这 样 大 大 地 简化 了 管理 ，IT 费 用 占 收 入 比例 显著 下 降 。 











新 加 坡 政府 历来 对 信息 产业 极为 关注 ， 在 其 推动 下 ， 新 加 坡 已 经 成 为 亚 
太 地 区 的 电子 商务 中 心 。 为 强化 该 地 位 ， 新 加 坡 政府 启动 了 国家 宽带 建 
设 ， 并 随 之 推出 “政务 云 ? 服 务 计划 ， 旧 在 进一步 推动 信息 化 有 发展。 而 新 
加 坡 S$ 电 信 运 营 丙 希 望 借 此 眉 机 ， 在 云 计算 带 来 的 变 音 中 进一步 优化 产 
业 络 构 ， 推 出 公有 云 服 务 ， 谱 写 云 篇 章 。 


紧 握 时 机 
S 运 营 商 具 备 众 多 优势 ， 同 时 可 带 来 更 大 的 外 部 影响 。 


首先 ，S 运 营 商 有 建立 公有 云 服务 的 内 部 优势 : 拥有 目 有 的 数据 中 心 和 
网 络 ， 这 正 是 云 计算 的 基石 ;拥有 供电 、 制 冷 、 机 房 等 空余 资源 可 以 进 
行 利 旧 应 用 ， 创 造 新 价值 ， 借 助 新 加 坡 国家 宽 市 战略 推动 ，S 运 营 商 网 
络 履 盖 已 达 20 000 座 楼 宇 ， 可 实现 对 绝 大 部 分 中 小 型 企业 的 履 盖 ， 而 服 
务 中 小 型 企业 正 符合 新 加 坡 的 国家 战略 需要 。 


其 次 ，S 运 营 商 率先 建立 公有 云 服 务 将 带 来 更 多 的 外 部 影响 。IT 企 业 和 
CT 企业 在 云 计 算 领 域 并 无 太 大 差距 ， 快 速 部 署 公 有 云 服务 可 获得 进入 
云 计 算 市 场 的 先 发 优 势 ， 在 新 兴 市 场 领域 ,率先 实现 业务 应 用 部 署 ， 有 
利于 品牌 建设 ， 此 外 ， 适 着 新 加 坡 开 展 “ 政 务 云 " 计 划 ，S 运 营 商 通过 公 
有 云 建设 ， 可 以 发 挥 该 计划 的 试点 作用 ， 增 加 服务 国家 的 机 会 。 


因此 ， 从 上 自 映 优势 到 外 部 环境 来 看 ，S 运 营 商 建立 公有 云 服务 的 时 机 已 
经 到 来 。 所 以 ，S$ 运 营 商 高 层 极为 重视 ， 均 表示 将 利用 国家 宽 市 规划 和 
政府 推动 信息 产业 发 展 的 机 会 ， 进 入 中 小 企业 市 场 ， 同 时 扩大 业务 。 


选择 合作 伙伴 


从 全 球 来 看 ， 运 营 商 建立 公有 云 服务 的 成 功 案 例 为 数 不 多 ， 而 市 场 需求 
容 个 得 长 时 间 的 思考 。 因 此 ，S$ 运 营 丙 需要 快速 探索 公有 云 服务 的 建设 
和 运营 模式 。 基 于 此 ，S 运 营 商 对 该 项 目的 合作 伙伴 提出 了 以 下 要 求 : 

必须 具备 快速 集成 交付 能 力 ， 可 以 实现 设备 快速 到 货 并 完成 安装 测试 ; 
必须 具备 快速 定制 开发 能 力 ， 解 决 方案 可 以 根据 $ 运 营 商 的 需求 量 身 定 
做 ; 必须 拥有 成 熟 的 解决 方案 和 长 期 投入 的 决心 ; 在 ICT 融 合 转型 过 程 
中 积累 丰厚 的 经 验 ， 可 以 更 好 地 帮助 运营 商 转型 。 


创新 设计 


S 运 营 商 公有 云 服 务 运营 平台 建设 的 第 一 阶段 主要 是 提供 基础 设施 服 
务 。 借 助 S 运 营 商 已 有 的 机 房 、 供 电 、 制 冷 等 设施 ， 结 合 华为 提供 的 服 
务 嚣 、 网 络 、 存 储 及 安全 设备 ， 同 时 依靠 华为 目 研 的 FusionSphere 云 操 
作 系 统 ，S 运 营 商 和 华为 快速 完成 了 公有 云 服 务 的 架构 搭建 ， 以 提供 大 
规模 、 高 性 能 的 虚拟 资源 服务 。 


























为 保证 该 项 目 快速 成 功 上 线 ，S 运 营 商 和 华为 在 运营 管理 方面 做 了 很 多 
创新 的 方案 设计 ， 尤 其 是 系统 安全 保障 方面 的 创新 。 如 云 主 机 服务 商 限 
制 用 户 最 多 创建 20 个 虚拟 机 ， 来 防止 恶意 用 户 瞬 时 创建 大 量 虚 拟 机 ， 造 
成 系统 瞬时 负载 过 重 。 但 这 种 限制 只 对 大 规格 使 用 者 有 意义 ， 对 使 用 小 
规格 虚拟 机 、 但 数量 要 求 多 的 使 用 者 ， 该 限制 很 不 合理 。 当 用 户 申 请 特 
殊 规 格 虚 拟 机 时 ， 这 种 方案 必须 变更 。 因 此 ， 访 方案 虽 可 实现 对 系统 的 
保护 ， 但 灵活 性 不 足 。 经 过 深入 探讨 ，S 运 营 商 和 华为 确定 通过 对 用 户 
Core〈 核 ) 、Memory 内存) 、Disk 〈 硬 盘 ) 三 个 维度 进行 限制 ， 任 
一 维度 超出 限制 即 不 能 创建 虚拟 机 ， 从 根源 上 保证 系统 的 安全 运行 ， 同 
时 可 以 保证 使 用 小 规格 虚拟 机 用 户 可 以 申请 更 多 的 虚拟 机 ， 确 保 将 来 在 
规格 限制 内 申请 特殊 规格 虚拟 机 而 不 用 变更 方案 。 


在 商业 模式 上 ， 为 实现 快速 盘 利 ，S 运 营 商 和 合作 伙伴 结合 各 自 的 成 功 
经 验 ， 共 同 探讨 出 一 套 灵 活 的 销售 模式 。 不 同 于 其 他 企业 不 区 分 用 户 类 
型 ， 统 一 按照 1 个 月 进行 试用 的 模式 ，S 运 营 丙 对 试用 账户 进行 了 多 种 区 
分 ， 既 可 以 让 普通 用 户 充 分 体验 S 运 营 商 公有 云 带 来 的 恨 好 服务 ， 又 可 
以 给 重点 用 户 提 供 试用 期 更 长 、 资 源 更 多 的 服务 ， 以 提高 用 户 粘 性 。 在 
资费 方面 ，S 运 营 商 也 采用 了 灵活 的 方式 ， 如 针对 散户 、 不 同 套 餐 用 
户 、VIP 用 户 等 多 种 不 同类 型 用 户 制定 了 不 同 的 价格 标准 ， 同 时 用 户 在 
将 试用 账 尸 转正 式 账户 时 ， 可 随意 变更 套餐 、 终 止 僚 餐 或 情 用 新 套餐 ， 
实现 了 虚拟 资源 价值 的 最 大 化 ， 方 便 用 户 使 用 。 


扩大 服务 


目前 ，S 运 营 丙 的 JlaaS 业 务 已 经 率先 正式 商用 。 和 凭借 成 熟 可 徘 的 解决 方 
和 案 和 运营 模式 ，S$ 运 营 商 已 经 吸引 了 包括 埃 森 哲 及 新 加 坡 政府 等 高 端 客 
户 业 务 的 大 规模 迁移 和 入 驻 ， 这 给 S 运 营 商 的 云 计算 服务 带 来 了 极 佳 的 
品 牧 效应。 如 今 ， 不 少 中 小 企业 客户 已 经 或 正在 考虑 租赁 S 运 营 丙 的 虚 
0 
了 基础 。 


但 是 ， 从 未 来 商业 运营 模式 分 析 ， 仪 有 硬件 基础 设施 的 业务 和 服务 不 足 
以 在 云 计算 领域 获得 更 大 的 发 展 ， 还 必须 提供 更 多 、 更 优质 的 软件 应 用 
服务 来 协助 中 小 企业 在 运营 商 创 建 的 沃土 上 快速 成 长 ， 形 成 繁荣 的 生态 
链 ， 而 强大 的 聚合 平台 正 是 构建 生态 链 中 最 关键 的 一 环 。 


面 对 中 小 企业 市 场 低 成 本 、 灵 活 、 多 样 等 多 重 特 点 ， 功 能 强大 的 聚合 平 
台 必 不 可 少 ， 其 催生 出 的 软件 运营 模式 在 欧美 等 开业 发 达 地 区 已 经 取得 















































了 民 好 的 发 展 。 而 在 新 加 坡 ， 软 件 应 用 服务 却 是 新 生 事 物 。 新 加 坡 有 超 
过 18 万 家 企业 ， 其 中 99% 为 中 小 型 企业 。 对 于 这 些 企业 来 说 ， 一 方面 ， 
他 们 面临 资金 短缺 、 技 术 文 持 人 员 流 失 严重 的 现状 ; 妃 一 方面 ， 叉 急需 
专业 的 开 系 统 和 服务 帮助 其 降低 运营 成 本 ， 增 强 核 心 范 争 能 


软件 应 用 服务 正 是 解决 这 些 了 矛盾 的 最 佳 途 径 。 用 户 可 以 根据 自己 的 应 用 
需要 从 服务 提供 商 那里 定购 相应 的 软件 应 用 服务 ， 并 且 可 以 根据 企业 发 
展 的 变化 ， 调 整 所 使 用 的 服务 内 容 ， 上 有 具有 很 强 的 伸缩 性 和 扩展 性 ， 同 时 
0 
玉 藉 担 鸭 。 


S 运 营 商 通过 合作 伙伴 的 协助 ， 在 公有 云 基础 设施 (IaaS〉 服务 平台 为 
新 加 坡 政 府 进一步 推动 信息 化 发 展 和 助力 中 小 企业 发 展 做 出 页 献 。 在 云 
计算 的 广阔 领域 中 ， 任 何 企业 都 不 可 能 独 目 实现 全 领域 的 开发 建设 。 只 
有 合作 ， 才 能 共 启 ， 只 有 共 谋 ， 才 能 发 展 
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架构 与 应 用 


ee 
人 


以 我 们 最 关注 的 个 人 安全 为 例 进行 类 比 可 以 看 到 ， 个 人 安全 威胁 可 能 会 
涉及 个 人 财产 损失 、 个 人 人 人身 伤害 、 个 人 隐私 侵犯 等 。 针 对 这 些 可 能 的 
个 人 安全 威胁 ， 人 类 很 早 就 开始 穿 上 衣服 来 遮挡 隐私 ; 然后 盖 上 房子 修 
建 围 栏 来 防止 野兽 的 侵扰 ， 然 后 房子 又 加 上 锁 来 防止 同类 来 偷 历 ， 到 了 
现代 又 发 明了 保险 柜 ， 防 止 小 偷 手 锁 ;后 来 又 把 钱 存 到 银行 防止 小 偷 连 
保险 柜 一 起 偷 走 ..…. 而 进入 云 计算 时 代 ， 个 人 安全 威胁 以 新 的 形式 以 及 
更 大 的 广度 在 扩大 ， 例 如 将 照片 、 视 频 、 通 讯 录 、 私 人 日 记 放 在 了 网 盘 
的 个 人 空间 里 〈“ 云 ) ， 一 些 担 心 就 会 随 之 而 来 ， 如 网 盘 信 息 会 不 会 被 人 
贩卖 ? 托管 在 公有 云 上 的 客户 关系 管理 系统 的 客户 数据 信息 会 不 会 被 竞 
争 对 手 拿 到 ? 业务 系统 信息 是 人 否 可 能 被 算 改 ?” 可 以 看 到 ， 在 云 计算 时 

代 ， 为 了 保障 个 人 安全 ， 我 们 只 盖 个 房子 、 加 个 锁 是 远 远 不 够 的 ， 而 且 
房子 怎么 盖 ， 锁 加 在 哪里 都 成 了 问题 。 这 时 ， 我 们 就 需要 使 用 系统 工程 
的 方法 来 构筑 个 人 安全 的 防范 问题 。 


对 应 地 ， 在 云 计 算 领 域 ， 使 用 系统 工程 的 方法 来 建立 和 完善 云 计算 体系 
的 安全 ， 这 便 是 “ 端 到 端 云 安 全 架构 ”。 


9 1 让 | De -eS 力 口 人 

















概括 地 讲 ， 云 计算 的 主要 安全 威胁 仅 4 个 字 ， 即 “天 灾 人 祸 ”: 
”“ 天 灾 ” 泛 指 各 种 不 可 抗力 ， 例 如 地 兰 、 火 灾 、 水 灾 秆 ; 
” “人祸” 指 得 某 些 个 人 或 者 组 织 为 了 实现 其 利益 而 对 其 他 人 或 其 
他 组 织 尽 其 所 能 地 进行 入 侵 、 攻 击 、 禄 取 、 和 破坏 等 行为 。“ 人 祸 ? 是 
云 计 算 的 主要 安全 威胁 。 
云 计算 体系 可 能 遭受 的 威胁 来 自 多 个 层次 。 


网 络 层次 


> 数据 传输 过 程 中 的 数据 私密 性 与 完整 性 存在 威胁 : 目前 多 数 用 
0 而 非 HTTPS 《加 密 ) 访问 云 资源 。 
一 些 敏 感 信 息 如 密码 ， 可 能 被 宁 取 。 








” 更 容易 遭受 网 络 攻击 : 云 计算 必须 基于 随时 可 以 接 入 的 网 络 ， 
便于 用 户 通 过 网 络 接 入 ， 方 便 地 使 用 云 计算 资源 。 云 计算 资源 的 分 
布 式 部 署 使 路 由 、 域 名 配置 更 加 复杂 ， 更 容易 遭受 网 络 攻击 ， 比 如 
DNS 攻击 和 DDoS 攻击 。 对 于 Iaas，DDoSs 攻 击 不 仅 来 自 外 部 网 络 ， 

也 容易 来 自 内 部 网 络 。 


” 资源 共 译 风险 : 云 计 算 的 共 至 计算 资源 市 来 的 更 大 的 风险 ， 包 
括 阳 离 措施 不 当 造 成 的 用 户 数 据 泄漏 、 用 户 焉 受 相同 物理 环境 下 的 
其 他 恶意 用 户 攻击 ; 网 络 防火 墙 、IPS 虚 拟 化 能 力 不 足 ， 导 致 已 建 
并 的 静态 网 络 分 区 与 隔离 模 型 不 能 满足 动态 资源 共 至 需求 。 


虚拟 化 层次 


” Hypervisor 的 安全 威胁 :Hypervisor 为 虚拟 化 的 核心 ， 可 以 捕获 
CPU 指令 ， 为 指令 访问 硬件 控制 器 和 外 设 充 当中 介 和 
源 分 配 ， 运行 在 比 操作 系统 特权 还 高 的 最 高 优先 级 上 。 
Hypervisor 被 攻击 破解 ， 在 Hypervisor 上 的 所 有 虚拟 机 将 无 何 安 全 
保障 ， 直 接 处 于 攻击 之 下 。 


” 虚拟 机 的 安全 威胁 : 虚拟 机 动态 地 被 创建 、 被 迁移 ， 虚 拟 机 的 
安全 措施 必须 相应 地 自动 创建 、 自 动迁 移 。 虚 拟 机 没有 安全 措施 或 
安全 措施 没有 自动 创建 时 ， 容 易 导 致 接 入 和 管理 虚拟 机 的 密 钥 被 

盗 、 未 及 时 打 补 丁 的 服务 (FTP、SSH 等 ) 遭受 攻击 、 弱 密码 或 者 
无 密码 的 账号 被 次 各 用 、 没 有 主机 防火 墙 保护 的 系统 遭受 攻击 。 


数据 与 存储 威胁 


> 静态 数据 的 安全 威胁 ， 静态 数据 可 以 加 密 保存 ， 如 简单 对 象 存 
储 业 务 ， 用 户 通过 客户 庙 加 密 数 据 ， 然 后 将 数据 存 佬 到 公有 云 中 ， 





























行 解密 i o 


” 数据 处 理 过 程 的 安全 威胁 : 数据 在 云 中 处 理 ， 数 据 是 不 加 密 
的 ， 可 能 被 其 他 用 户 、 管 理 员 或 者 操作 员 获 取 。 


~ ”剩余 数据 保护 : 用 户 退 租 虚 拟 机 后 ， 该 用 户 的 数据 就 变 成 剩余 
数据 ， 和 存放 剩余 数据 的 空间 可 以 被 释放 给 其 他 用 户 ， 如 条 数 据 没有 
经 过 处 理 ， 其 他 用 户 可 能 获取 到 原来 用 户 的 私密 信息 。 


号 份 认 证 与 接 入 管理 


到 计算 文 持 海量 的 用 户 认证 与 接 入 ， 对 用 户 的 号 份 认证 和 接 入 管理 必须 
完全 目 动 化 ， 为 提高 认证 接 入 管理 的 体验 ， 需 要 云 简化 用 户 的 认证 过 
程 ， 比 如 提供 云 凡 所 有 业务 统一 的 单 点 登录 与 权限 管理 。 


图 9-1 描述 了 云 计算 管理 员 、 用 户 和 黑客 对 云 管 端 所 造成 的 威胁 。 


以 上 列 出 的 仅仅 是 来 自 茶 个 个 人 的 可 能 威胁 ， 还 未 列 出 来 目 茶 个 组 织 

〈 叫 “团伙 ?可 能 更 容易 理解 ) 的 威 肋 ， 比 如 茶 个 大 型 公司 内 部 的 茶 个 小 
团伙 对 茶 大 型 公司 进行 破坏 活动 ， 那 么 这 个 破坏 力 会 成 倍增 长 ， 因 为 这 
个 团伙 成 员 可 能 来 自 管理 屋 、IT、 内 外 部 用 户 和 黑客 。 

















9 其 他 用 户 登录 ， 破 解密 码 | 伪造 TCM 管理 员 
法 TCR 有 获取 VM 数据 的 能 力 击 
[TC 茹 非法 破坏 ， 植 入 木马 ， 非 法 获取 VM 数据 





利用 虚拟 机 备份 文件 非法 恢复 用 户 数据 
虚拟 机 | 此 拟 机 自然 损坏 











A 
员 非 法 登录 : 利用 弱 ! ] 令 或 口令 保管 出 前 E 盘 数 据 利用 租用 的 虚拟 机 攻击 虚拟 化 平 
= 权 分 立场 景 下 易 发生 不 原 出 户 内 存 数据 利用 租用 的 虚拟 机 政 市 不 拟 化 管理 平台 
pe 如 利用 1OS7Web 漏 润 
虚拟 机 迁移 中 截获 用 户 数据 

















图 9-1 不 同 客户 的 云 安全 威胁 





9.1.2 关 对 端的 安全 架 松 


上 面 分 析 了 云 计算 环境 中 所 面临 的 各 种 威胁 ， 不 同 级 别 的 威胁 ， 其 相应 


的 安全 保障 措施 是 不 同 的 。 企 业 或 组 织 对 安全 级 别 要求 越 高 ， 这 个 端 到 
端 安全 以 构 的 价值 也 就 越 大 ， 安 全 架构 之 下 的 具体 技术 保障 手段 也 更 严 
谨 和 丰富 ， 如 图 9-2 所 未 。 
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图 9-2 ” 云 计 算 E2E 安 全 架构 





结合 云 计 算 的 风险 ， 端 对 问 云 计算 安全 架构 有 以 下 几 个 核心 部 分 。 


“到 终端 ”安全 





采取 USB 剖 口 策略 管控 、 蔡 止 直 接 访 问 内 置 存储 、 补 丁 和 升级 关联 等 。 


其 实质 是 采用 专用 的 TC (Thin Client， 瘦 客户 端 ) 终端 ， 这 种 TC 终端 用 
于 显示 云 中 心 的 图 像 ， 是 一 个 专用 的 租 入 式 系 统 。TC 这 种 瘦 客 户 端 很 
像 家 里 安装 的 机 顶 盒 ， 看 到 的 节目 〈TC 对 应 的 内 容 ) 都 来 自 电视 台 
CTC 对 应 的 云 平 台 ) 。 和 和 机顶盒 不 同 的 是 ， 机 项 盒 使 用 遥控 器 进行 操 
作 ，TC 可 以 直接 连接 键盘 鼠标 ， 像 以 前 使 用 PC 那样 〈 跟 PC 使 用 体验 基 
本 一 致 ， 只 是 受到 了 更 严格 的 安全 管制 ) 。 采 用 这 种 TC 终 端 能 够 实现 
较 好 的 安全 性 ， 包 括 以 下 几 个 方面 。 





>” BIOS 仪 从 内 置 存储 引导 


TC 的 BIOS 只 保留 从 内 置 存 储 引导 的 方式 ， 没 有 保留 其 他 的 引导 方式 ， 
如 USB 引 导 、PXE (Preboot Execute Environment， 预 启动 执行 环境 ， 网 
络 远 程 启动 ) 引导 。 





> OS 安 全 
TC 是 一 个 精简 的 、 封 闭 的 Linux/WES7/XPe 操 作 系 统 。 


e 禁止 存储 类 设备 使 用 : TC 的 操作 系统 从 驱动 层 可 禁止 USB 存 储 
设备 的 使 用 ， 不 包含 任何 USB 存 储 的 驱动 。 包 括 U 盘 、USB 光 了 驱 等 
在 内 的 USB 存 储 设备 无 法 在 TC 本 地 使 用 。 


e 禁止 直接 访问 内 置 人 存储 : 操作 系统 的 TC 在 本 地 没有 暴露 内 置 存 
储 访问 接口 ， 用 户 只 能 通过 系统 提供 的 程序 间接 访问 ， 这 样 能 有 效 
地 避免 系统 文件 被 破坏 。 


e 禁止 任意 安装 程序 . 操作 系统 的 TC 在 本 地 不 提供 安装 软件 的 接 
口 ， 用 户 或 者 其 他 第 三 方 人 员 无 法 自行 安装 任何 软件 。 如 果 需 要 在 
TC 上 安装 软件 ， 则 只 能 通过 TCM (专门 的 TC 管理 系统 ) 将 软件 包 
下 发 到 TC 上 ， 然 后 在 TC 上 进行 安装 。 


简单 理解 < 云 终端 安全 ”的 目标 ， 那 就 是 ， 对 安全 可 能 构成 威胁 的 操作 基 
本 都 被 蔡 止 。 


管道 ”安全 
管道 安全 包括 接 入 安全 和 网 络 安全 。 


接 入 安全 包括 多 种 方式 的 接 入 认证 (如 USB KEY/ 指 纹 / 令 牌 等 ) 、 防 非 
法 接 入 基于 网 络 耻 参数 和 用 户 ID) 、 传 输 通道 加 密 、 与 CA 系统 对 接 














网 络 安 全 包括 防火 墙 的 访问 控制 (这 里 的 防火 墙 除 传统 防火 墙 以 外 ， 还 
包括 虚拟 化 的 防火 墙 等 多 种 类 型 ) 、 安 全 接 入 网 关 (用 于 与 TC 进行 认 
证 ， 建 立 安全 通道 ， 甚 至 提供 负载 均衡 的 功能 ) 、 网 络 平面 隅 离 〈 提 供 
业务 网 、 管 理 网 和 存储 网 的 三 网 隔离 ) 、 网 络 入 侵 防 护 〈 如 提供 防 拒绝 
服务 攻击 功能 、 基 于 VxLAN 的 网 络 VLAN 划 分 等 。 


理解 “管道 安全 ”的 重要 性 ， 有 一 个 形象 的 例子 。 换 位 思考 一 下 ， 一 伙 动 
他 们 为 了 钱 ， 是 抢 银 行 容 易 呢 ， 还 是 抢 运 钞 车 容易 ? 答案 肯定 是 志 
钞 车 ， 因 为 运 钞 车 在 路 上 ， 再 怎么 防护 ， 也 没有 银行 防护 得 严密 。 在 银 
行内 部 ， 通 往 金 库 是 最 薄弱 的 环节 ， 也 是 通路 。 那 么 为 了 安全 防护 ， 在 

















外 部 ， 要 考虑 运 钞 车 本 里 的 坚固 性 、 押 解 人 员 以 及 行进 路 线 的 安全 性 ; 
在 银行 内 部 ， 通 往 金库 的 道路 上 要 层 层 设 卡 ， 设 立 各 种 监控 和 密码 设 
施 。 

“天 ”安全 

云 安 全 包括 云端 数据 安全 ， 这 是 云 计算 重点 需要 考虑 的 安全 内 容 。 云 计 
算 中 的 数据 太 过 集中 会 造成 用 户 的 担忧 ， 信 息 资产 的 集中 存储 也 是 网 络 
攻击 的 重点 所 在 。“ 云 ”安全 包括 云 数据 安全 和 云 平台 安全 两 部 分 。 


云 数 据 安全 的 解决 方案 包括 文件 加 密 及 权限 控制 、VM 的 磁盘 加 密 、 数 
据 的 容 灾 备 份 、 虚 拟 机 终端 安全 。 


云 平 台 安 全 包括 云 操作 系统 和 数据 库 的 安全 加 固 、 防 病毒 、 安 全 补丁 、 
虚拟 化 隔离 、Web 安 全 、 可 信和 虚拟 机 。 


其 中 的 虚拟 化 隔离 和 可 信 虚 拟 机 〈 借 助 可 信 芯 片 ) 是 下 面 重点 介绍 的 内 








“ 管 理 ” 安 全 
管理 安全 包括 统一 账号 管理 及 认证 ， 日 志 审 计 ， 三 权 分 并 等 内 容 。 
下 面 对 云 计算 中 的 重要 安全 技术 及 实现 方案 进行 介绍 。 


9.2 可 信 计 算 TPM/vTPM 


TPM 英 文 全 称 为 Trusted Platform Module， 即 可 信赖 平台 模块 ，vTPM 的 
英文 全 称 为 Virtualizing the Trusted Platform Module， 即 虚拟 化 可 信赖 平 
台 模 块 。 

口 


在 云 计 算 环 境 中 ， 用 户 失 去 了 对 虚拟 机 的 完全 控制 ， 导 致 用 户 无 法 信任 
虚拟 机 环境 ， 这 成 为 了 用 户 部 署 云 计 算 的 一 个 重要 障碍 。 因 此 采用 可 信 
计算 和 虚拟 化 技术 的 结合 成 为 热点 。 基 于 TPM/TCM/TXT 可 信人 硬件 技 

术 ， 在 云 平台 上 开发 可 信和 虚拟 机 原型 系统 ， 可 实现 虚拟 机 的 可 信和 启动 、 
可 信 运 行 、 虚 拟 机 可 信 迁 移 等 ， 从 而 为 虚拟 机 构建 一 个 可 信 的 计算 环 

境 ， 提 升 用 户 对 虚拟 机 环境 的 信任 度 。 

















虚拟 机 的 可 信和 是 高 等 级 信息 系统 中 的 关键 点 ， 主 要 包括 : 
” 防止 节点 的 软件 配置 、 虚 拟 机 的 OS 被 黑客 攻击 算 改 ; 
” 虚拟 机 防止 被 其 他 虚拟 机 攻击 、 嗅 探 ; 
” 防止 虚拟 机 被 恶意 的 人 员 启 动 和 利用 ; 
” 防止 虚拟 机 迁移 到 不 被 认可 的 非 安 全 Host 主 机 上 ; 








” 防止 Dom0 的 恶意 管理 员 利用 特权 账户 发 起 对 DomU 的 监控 与 攻 
击 (Dom 全 称 Domain， 是 CPU 虚拟 化 内 核 调 度 中 的 一 个 名 词 ， 简 单 
理解 ，CPU 中 有 很 多 Domain， 每 个 Domain 中 存放 一 个 操作 系统 软 
件 ，Domain0 中 放 的 是 虚拟 化 软件 内 核 操作 系统 软件 ，Domain0 中 
的 操作 系统 软件 有 比 其 他 Domain 更 高 的 CPU 指令 执行 特权 ， 恶 意 管 
理 员 可 能 利用 这 个 特权 去 监控 其 他 Domain 中 的 操作 系统 ) 。 


虚拟 机 可 信 计 算 扩 术 是 当前 虚拟 化 环境 中 的 技术 发 展 热 点 ， 也 是 扩 术 难 
一 般 通 过 可 信 疙 片 技术 来 实现 。 技 术 实 现 方案 如 图 9-3 所 示 。 
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数据 外 发 控制 授权 应 用 列表 














:启动 可 信 : 有 本 人 才能 局 动 (有 钥匙 、 USB Keys 千 )， 管 理 员 和 其 他 人 无 法 启动 ， 启 
动 环境 是 经 过 验证 的 ， 加 载 的 系统 是 安全 的 。 

“运行 可 信 : 运行 的 软件 是 可 信 的 ， 都 是 经 过 用 户 本 人 授权 安装 的 ， 管 理 员 和 其 他 人 对 VM 
运行 环境 无 法 修改 。 


图 9-3 ”可 信 芯 片 技术 原理 


图 9-4 ”是 实现 虚拟 机 的 可 信和 启动 原理 。 


Hypervisor 





图 9-4 可 信和 启动 原理 


用 户 的 VM 初 始 内 存 的 数据 《不 变 的 部 分 ) 、 软 件 安 帮 /全 载 /运行 信息 、 
OS 信 息 、 磁 盘 数 据 以 Hash 的 方式 做 了 运算 ， 成 为 度量 的 基数 。 该 基数 
保持 在 TPM 心 片 中 ， 后 续 的 度量 值 与 之 比较 。 简单 理解 ，Hash 是 一 种 
算法 ， 能 够 对 每 个 目标 状态 以 唯一 数值 的 方式 进行 标注 ， 相 当 于 你 家 养 
的 牲畜 都 被 它 凋 上 戳 ， 多 了 少 了 都 可 以 看 出 来 ， 有 狠 拔 独 羊 皮 混 在 你 的 
牲畜 圈 也 能 看 出 来 ， 或 根本 就 混 不 进去 ) 。 


其 实现 的 功能 是 : 











” 可 信 VM 的 OS 状态 受到 TPM 的 保护 ， 防 止 OS 被 修改 ; 
” 可 信 VM 中 软件 的 安装 /卸载 /运行 需要 得 到 用 户 授 权 ， 并 可 防止 


软件 被 修改 ; 


” 监控 Dom0 和 管理 员 对 可 信 VM 的 内 存 访问 ， 防 止 VM 内 存 数据 


用 于 云 计算 当中 的 TPM 心 片 可 能 有 几 种 安 闭 形式 : 内 贬 到 主板 之 上 、 或 
以 插 卡 的 形式 安装 到 主板 上 的 预 留 插 槽 。 比 如 华为 的 Tecal 系 列 服务 
器 ， 全 部 采用 TPM 插 卡 形 式 ，TPM 插 卡 作为 服务 器 的 选 配 件 提供 。 


下 面 几 个 小 节 介 绍 一 下 TPM 可 以 实现 的 主要 功能 。 








基于 上 述 可 信 技 术 可 以 实现 许多 非常 有 用 的 功能 ， 举 例 来 讲 ， 云 计算 环 
境 中 主机 的 安全 是 云 计算 安全 的 基础 ， 如 果 主 机 操作 系统 被 自 改 或 杆 入 
恶意 代码 ， 那 么 在 主机 之 上 运行 的 云 操作 系统 都 变 得 不 安全 。 基 于 TPM 
技术 ， 可 以 把 合法 的 主机 信息 保存 起 来 ， 在 系统 启动 过 程 中 进行 有 效 判 


灯 《〈 见 图 9-5) 。 
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图 9-5 主机 静态 度量 流程 











我 们 将 实现 这 一 功能 的 过 程 描述 如 下 : 
” BIOS 将 控制 权 交 给 GRUB; 


” 在 kermel、initrd、module 命 令 中 加 载 操 作 系 统 内 核 镜像 及 其 他 
模块 ，GRUB 引 导 操 作 系 统 启动 ， 同 时 进行 度量 ， 将 hash 值 扩展 到 
TPM PCR10 (PCR、Platform Configuration Register、 平 台 配 置 寄存 
器 ) ， 将 记录 写 入 度量 日 志 ; 





” 上 度量 配置 文件 列表 中 的 文件 ， 将 hash 值 扩展 到 TPM PCR10， 将 
记录 写 入 度量 日 志 ; 


” 执行 boot 命 令 ， 操 作 系统 月 动 ; 


下 在 操作 系统 局 动 后 ， 传 值 模 块 自 局 动 ， 将 主机 静态 度量 信息 传 








同样 ， 基 于 TPM， 可 以 对 虚拟 机 的 合法 性 进行 保护 。 主 要 原理 是 在 虚拟 
机 启动 前 ， 依 据 云 管理 服务 器 下 发 的 静态 度量 配置 文件 构造 度量 文件 列 
表 ， 然 后 将 虚拟 机 镜像 mount 放 在 指定 目录 ，mount 的 镜像 分 为 Windows 
和 Linux 两 种 操作 系统 。 


根据 度量 文件 列表 依次 对 碍 找到 的 文件 进行 SHA-1 上 度量 操作 ， 得 出 160 
位 hash 值 ， 同 时 将 每 一 个 文件 的 hash 值 进行 迭代 操作 ， 得 到 最 终 的 度量 
结果 ， 将 该 度量 结果 与 各 个 文件 的 hash 值 构成 的 日 志文 件 上 传 给 上 层 ， 
为 虚拟 机 镜像 是 售 章 到 自 改 提供 依据 。 











TPM 除 了 用 于 对 操作 系统 及 其 虚拟 机 系统 的 静态 信息 的 保护 以 外 ， 在 系 
统 运行 中 ， 还 能 根据 系统 的 运行 状态 信息 进行 动态 保护 。 主 机 动态 度量 
分 为 两 个 模块 : Xen 度 量 模块 和 Dom0 度 量 模块 〈 见 图 9-6) 。 
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图 9-6 主机 动态 度量 原理 


Xen 度 量 模块 部 署 在 UEFI 中 ， 利 用 SMM 机 制 进行 实时 度量 保护 ， 主 要 
在 UEFI (新 型 UEFI， 人 全称“ 统一 的 可 扩展 固件 接口 ”"”， 身 文 为 Unified 
Extensible Firmware Interface， 是 一 种 详细 描述 类 型 接口 的 标准 ) 中 进行 
实现 ， 借 助 CMOS 来 传递 度量 的 地 址 和 范围 ， 可 以 进行 手动 和 定时 两 种 
触发 方式 ， 当 度量 程序 被 触发 后 ， 会 对 CMOS 中 指定 的 数据 进行 度量 ， 
并 将 度量 值 扩展 到 TPM (Trusted Platform Module) 的 PCR (Platform 
Configuration Register) 中 。 手 动 触发 是 通过 管理 员 在 Domain0 中 输入 触 
发 指令 来 触发 SMI Measurement Handler， 而 定时 触发 是 由 UEFI 中 的 定时 
协议 提供 的 功能 ， 到 达 指 定时 间 会 自动 执行 SMI Measurement Handler; 
SMI Measurement Handler 会 从 CMOS 中 读 取 指定 的 度量 范围 和 地 址 并 完 
成 度量 操作 ， 最 后 将 度量 结果 生成 日 志 信 息 。 


Dom0 度 量 模块 部 署 在 Xen 中 ， 主 要 对 上 层 Domain0 中 的 GDT (Global 
Descriptor Table) 、IDT (Interrupt Descriptor Table〉 和 模块 及 驱动 进行 
度量 ， 并 负责 主动 获取 在 内 存 中 Xen 的 度量 值 ， 然 后 生成 度量 日 志文 

件 。 


























如 图 9-7 所 示 ， 本 部 分 为 动态 度量 结构 图 ， 分 为 调度 模块 和 度量 模块 。 
人 虚拟 域 进行 度量 ， 调 度 模块 负责 Domain-0 与 度量 模块 的 
通信 。 








Domain-0 











度量 模块 


图 9-7 VM 动态 度量 流程 


通信 包括 两 个 方面 ， 第 一 ， 将 度量 模块 度量 得 到 的 度量 值 传 送 到 
Domain-0 的 Client 端 ， 第 二 ， 接 收 Client 端 发 来 的 命令 请 求 ， 并 将 请 求 发 
给 度量 模块 ， 对 度量 模块 的 行为 进行 触发 。 度 量 分 为 定时 度量 和 手动 度 
量 两 种 。 手 动 上 度量 由 Client 触 发 ， 上 度量 模块 接收 到 手动 度量 请 求 后 ， 完 
成 度量 行为 ， 并 将 度量 值 回 发 给 Client 端 。 定 时 度量 的 触发 由 度量 模块 
中 的 timer 完 成 。 每 一 个 虚拟 域 对 应 一 个 timer，Client 端 能 够 设置 每 个 
timer 的 时 间 片 以 及 是 否 进行 度量 。 对 于 不 同 的 虚拟 域 ， 其 有 不 同 的 度量 
点 ， 如 表 9-1 所 示 。 














表 9-1 虚拟 域 的 不 同 度量 点 


虚拟 机 类 型 ”度量 点 
Windows GDT IDT SSDT 了 驱动 
Linux-hvm ”GDT IDT KERNEL 内 核 模 块 


9.2.5 TPM 功 能 5: 远程 证 


远程 证 明 是 对 平台 做 全 面 的 度量 ， 问 远程 通信 方 证 明 目 身 运行 环境 是 可 
信 的 。 远 程 证 明 是 一 个 综合 完整 性 校 验 和 身份 鉴别 的 过 程 ， 同 时 向 验证 
者 提供 一 份 可 信 的 平台 状态 报告 。TPM 是 报告 的 可 信 根 ， 能 够 保证 对 当 
前 完整 性 度量 值 做 可 信 的 报告 。 


远程 证 明 是 通过 远程 证 明 协 议 来 实现 的 ， 如 图 9-8 所 示 。 


挑战 者 证 明 者 
nonce 


注 : PCR 英 文 全 称 为 Platform Configuration Register， 即 平台 配置 寄存 器 
PCR 。 








Signip(nonce, PCR, log), Cip 





图 9-8 ”远程 证 明 协 议 


我 们 基于 远程 证 明 协 议 〈 见 图 9-9) ， 根 据 不 同 的 场景 ， 收 集 客户 端 相 

应 的 度量 值 和 度量 日 志 ， 开 始 进行 完整 性 检查 。 服 务 器 产生 一 个 随机 

数 ， 发 送 给 客户 端 。 配 备 ITPM 的 客户 器 对 度量 值 用 SHA1 算 法 求 出 哈 希 
值 ， 再 用 生成 的 签名 私 钥 对 其 进行 签名 ， 形 成 完整 性 报告 ， 报 告 包 括 主 
机 名 、 随 机 数 、 度 量 值 、 哈 希 值 、 签 名 及 一 些 平 台 相 关 信 息 等 。 最 后 ， 

将 完整 性 报告 和 度量 日 志 一 起 发 送 给 服务 器 。 服 务 需 检查 随机 数 、 验 证 
哈 希 、 验 证 签名 ， 通 过 比较 签名 值 和 基线 值 判断 平台 是 否 可 信 。 
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Hypervisor 普 裔 采用 了 人 硬件 辅助 虚拟 化 技术 (以 下 以 服务 器 最 常用 的 
Intel CPU 硬件 虚拟 化 技术 VT-x 介 绍 ) ，VT-x 将 CPU 的 操作 扩展 为 两 个 
forms〔 窗 体 ) : VMX Root Operation 〈 根 虚拟 化 操作 ) 和 VMX Non- 
root ”Operation( 非 根 虚 拟 化 操作 )〉， ，VMX “Root ”Operation 设 计 供 
Hypervisor 使 用 ， 其 行为 与 传统 的 IA32 并 无 特别 不 同 ， 而 VMX Non-root 
Operation 则 是 另 一 个 处 在 VMM (Virtual Machine Monitor) 控制 之 下 的 
IA32 环 境 。 所 有 的 forms 都 能 支持 所 有 的 Ring0 一 Ring3 共 4 个 特权 级 ， 这 
样 在 VMX Non-root Operation 环 境 下 运行 的 虚拟 机 就 能 完全 地 利用 Ring 0 
等 级 〈 见 图 9-10) 。 
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图 9-10 CPU 的 隔离 原理 


Root Operation 环 境 和 Non-root Operation 环 境 之 间 可 以 切换 。 如 果 虚 拟 机 
要 进行 一 些 特 权 操 作 ， 比 如 IO 访问 、 对 控制 寄存 器 的 操作 、MSR 的 读 
写 指令 等 ， 此 时 就 进入 了 Root Operation 环境 ， 当 处 理 完 这 些 特权 操作 
后 ， 将 重新 进入 Non-root Operation 环 境 继续 虚拟 机 的 执行 。 从 Root 
Operation 环 境 到 Non-root Operation 环境 叫 VM 。” Entry， 反之 称 为 VM 
Exit。 同 时 ，VMM 可 以 通过 执行 YMXON 和 VMXOFF 指 令 打 开 和 关闭 
VT-X。 


在 Root Operation 环 境 和 Non-root Operation 环 境 之 则 进行 切换 时 ， 有 一 个 
虚拟 机 控制 结构 YMCS (Virtual Machine Control Structure) 进行 控制 和 
管理 ， 当 虚拟 机 被 创建 时 ，VMM 就 同时 为 每 一 个 vCPU 创 建 一 个 
VMCS， 这 个 数据 结构 可 以 决定 哪些 操作 会 触发 VMExit 进 入 Root 
Operation。 进 入 到 Root Operation 后 ，Hypervisor 取 得 控制 权 ， 通 过 读 取 
VMCS 中 的 VM Exit Information Fields 得 到 发 生 VM Exit 的 原因 ， 在 vmx- 


Vvmexit-handler 函 数 中 开始 执行 相应 处 理 。Hypervisor 通 过 选用 几 种 调度 
算法 〈 如 credit、BVT 等 ) ， 把 物理 CPU 合理 地 分 配给 虚拟 机 使 用 。 虚 

拟 机 获得 一 个 时 间 片 后 ， 在 这 个 时 间 片 内 连续 运行 它 的 逻辑 CPU， 时 间 
片 消耗 完 后 ，Hypervisor 会 调度 下 一 个 虚拟 机 运行 。Hypervisor 正 是 通过 
VMCS 结 构 灵 活 的 监控 虚拟 机 的 运行 ， 环 境 切 换 时 人 硬件 自动 保存 、 恢 复 
各 目的 状态 ， 做 到 了 CPU 的 完全 隔离 。 


9.3.2 大 


虚拟 机 通过 内 存 虚 拟 化 来 实现 不 同 虚拟 机 之 间 的 内 存 隔离 。 内 存 虚 拟 化 
技术 在 客户 机 已 有 地 址 映射 《虚拟 地 址 和 机 器 地 址 ) 的 基础 上 ， 引 入 一 
层 新 的 地 址 一 一 “物理 地 址 ”。 在 虚拟 化 场景 下 ， 客 户 机 OS 将 “虚拟 地 
址 ”映射 为 “物理 地 址 ”; Hypervisor 负 责 将 客户 机 的 “物理 地 址 ?区 射 成 < 机 
器 地 址 ”后 ， 再 交 由 物理 处 理 器 来 执行 〈 见 图 9-11) 。 
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图 9-11 ”内存 隔 离 原 理 
内 存 虚 拟 化 共 涉 及 三 个 内 存 地 址 。 


> ”机 器 内 存 地 址 : 真实 的 机 器 地 址 ， 即 地 址 总 线 上 出 现 的 地 址 信 
号 。 


” 虚拟 机 物理 内 存 地 址 ， 经 Hypervisor 抽 象 、 虚 拟 机 看 到 的 伪 物 
理 地 址 。 


让 应 用 程序 内 存 地 址 : 客户 机 OS 提供 给 其 应 用 程序 使 用 的 线性 地 
空间 。 


虚拟 机 物理 内 存 地 址 与 应 用 程序 使 用 的 内 存 地 址 之 间 的 映射 关系 是 由 
0 的 ， 即 虚拟 机 的 OS 维护 虚拟 机 上 的 应 用 程序 之 间 的 内 存 分 
配 和 调度 。 


Cloud OS (Hypervisor) 管理 虚拟 机 使 用 的 虚拟 物理 内 存 (Physical 
Memory) 和 真实 机 器 内 存 (Machine ”Memory) 之 间 的 对 应 关系 ， 即 
P2M 转 换 ， 这 种 对 应 关系 是 一 一 对 应 的 ， 每 个 虚拟 机 都 有 一 张 P2M 表 。 
虚拟 机 访问 内 存 时 ， 通 过 P2M 表 转换 ， 只 能 访问 到 分 配给 它 的 内 存 ， 不 
能 访问 没有 分 配给 它 的 内 存 ， 从 而 实现 各 虚拟 机 之 间 的 内 存 隔离 。 


普通 MMU (Memory Management Unit) 只 能 完成 一 次 虚拟 地 址 到 物理 
地 址 的 映射 ， 在 虚拟 机 环境 下 ， 经 过 MMU 转 换 所 得 到 的 “物理 地 址 ”并 
不 是 真正 的 机 器 地 址 。 知 需 得 到 真正 的 机 器 地 址 ， 必 须 由 VMM 介 入 ， 
再 经 过 一 次 映射 才能 得 到 总 线 上 使 用 的 机 器 地 址 。 如 果 虚 拟 机 的 每 个 内 
存 访问 都 需要 VMM 介 入 ， 且 由 软件 模拟 地 址 转换 的 效率 是 很 低下 的 ， 
其 几乎 不 具有 实际 可 用 性 ， 为 实现 虚拟 地 址 到 机 器 地 址 的 高 效 转 换 ， 现 
普 裔 采用 的 思想 是 :由 VMM 根 据 映射 f 和 g 生 成 复合 的 映射 fg， 并 直接 将 
这 个 映射 关系 写 入 MMU。 


Hypervisor 采 用 的 内 存 便 件 辅助 虚拟 化 技术 是 用 于 蔡 代 虚拟 化 技术 中 软 
件 实现 的 “影子 页 表 ” 的 一 种 硬件 辅助 虚拟 化 技术 ， 其 基本 原理 是 : VA- 
>PA->MA， 两 次 地 址 转换 都 由 CPU 硬件 自动 完成 〈 软 件 实现 内 存 开 销 
大 、 人 性 能 差 ) 。Hypervisor 采 用 VT-x 技 术 的 页 表 扩 充 技 术 Extended Page 
Table (EPT) ， 首 先 VMM 预 先 把 客户 机 物理 地 址 转换 到 机 器 地 址 的 
EPT 页 表 设 置 到 CPU 中 ; 其 次 客户 机 修改 客户 机 页 表 无 需 YMM 干 预 ; 
最 后 ， 地 址 转换 时 ，CPU 上 自动 查找 两 张 页 表 完 成 客户 机 虚拟 地 址 到 机 器 
地 址 的 转换 。 通 过 使 用 内 存 的 硬件 辅助 虚拟 化 技术 ， 在 客户 机 运行 过 程 
中 无 需 VMM 王 预 ， 去 除了 大 量 软件 开销 ， 内 存 访问 性 能 接近 物理 机 。 























Hypervisor 提 供 虚 拟 防 火 墙 一 一 路 由 器 (VFR，Virtual Firewall-Router ) 
的 抽象 ， 每 个 客户 虚拟 机 都 有 一 个 或 者 多 个 在 逻辑 上 附属 于 VFR 的 网 络 
接口 VIF (Virtual ”Interface〉。 从 一 个 虚拟 机 上 发 出 的 数据 包 ， 先 到 达 
Domain 0， 由 Domain 0 来 实现 数据 过 小 和 完整 性 检查 ， 并 插入 和 删除 规 
则 ; 经 过 认证 后 携带 许可 证 ， 由 Domain 0 转发 给 目的 虚拟 机 ; 目的 虚拟 
机 检查 许可 证 ， 以 决定 是 否 接 收 数据 包 。 


9.3.4” 侯 各 1/O 阳 离 


虚拟 机 所 有 的 IO 操作 都 由 Hypervisor 截 获 处 理 ，Hypervisor 保 证 虚拟 机 
只 能 访问 分 配给 该 虚拟 机 的 物理 磁盘 ， 实 现 不 同 虚 拟 机 硬盘 的 隔离 。 





9.3.5 


Hypervisor 采 用 分 离 设 备 驱动 模型 实现 VO 的 虚拟 化 。 该 模型 将 设备 驱动 
划分 为 前 端 驱 动 程序 、 后 端 驱 动 程 序 和 原生 驱动 三 个 部 分 ， 其 中 前 端 驱 
动 在 DomainU 中 运行 ， 后 端 驱 动 和 原生 驱动 则 在 Domain0 中 运行 。 前 端 
驱动 负责 将 DomainU 的 /OO 请求 传递 到 Domain0 中 的 后 端 驱动 ， 后 端 驱动 
解析 LO 请 求 并 映射 到 物理 设备 ， 提 交 给 相应 的 设备 驱动 程序 控制 硬件 

完成 WO 操作 。 换 言 之 ， 虚 拟 机 所 有 的 WO 操作 都 会 由 VMM 截 获 处 理 ， 同 
时 ， 系 统 对 每 个 卷 定义 不 同 的 访问 策略 ， 没 有 访问 该 卷 权 限 的 用 户 不 能 
访问 该 卷 ， 只 有 卷 的 真正 使 用 者 〈 或 者 有 该 卷 访问 权限 的 用 户 ) 才 可 以 
访问 该 卷 ，VMM 保 证 虚拟 机 只 能 访问 分 配给 它 的 物理 磁盘 空间 ， 从 而 

实现 不 同 虚 拟 机 硬盘 空间 的 安全 隔离 。 











9.4 
虚拟 化 平台 的 网 络 通信 平面 划分 为 业务 平面 、 存 储 平 面 和 管理 平面 ， 且 








三 个 平面 之 间 是 隔离 的 。 存 储 平 面 与 业务 平面 、 管 理 平面 间 是 物理 陋 
离 ; 管理 平面 与 业务 平面 间 是 逻辑 隔离 。 通 过 网 络 平 面 隔离 保证 管理 平 
台 操 作 不 影响 业务 运行 ， 最 终 用 户 不 能 破坏 基础 平台 管理 。 


网 络 平 面 隔离 如 图 9-12 所 示 。 













一 一 业务 平面 
一 一 一 管理 平面 
一 一 一 存储 平面 


管理 平面 













业务 平面 


am ch wa 


PP 


计算 与 管理 节点 存储 节点 





图 9-12 ”网 络 平面 隔离 


“业务 平面 : 为 用 户 提供 业务 通道 ， 为 虚拟 机 虚拟 网 卡 的 通信 平 
面 ， 对 外 提供 业务 应 用 。 


” 存储 平面 : 为 iSCSI 存储 设备 提供 通信 平面 ， 并 为 虚拟 机 提供 存 
储 资源 ， 但 不 直接 与 虚拟 机 通信 ， 而 通过 虚拟 化 平台 转化 。 


” 管理 平面 : 负责 整个 云 计算 系统 的 管理 、 业 务 部 署 、 系 统 加 载 


等 六 计量 的 通 重信 和。 


9.4.1 虚拟 交 j ARPI 











ARP (Address Resolution Protocol， 地 址 解析 协议 ) ， 负 责 将 某 个 IP 地 
址 解析 成 对 应 的 MAC 地 址 。ARP 攻 击 就 是 通过 伪造 IP 地 址 和 和 MAC 地址 

实现 ARP 坎 骗 ， 通 过 在 网 络 中 产生 大 量 的 ARP 通 信 量 使 网 络 阻塞 ， 该 攻 
击 主 要 存在 于 局 域 网 网 络 中 ， 通 过 木马 程序 发 起 攻击 。 











在 ARP 的 防 攻 击 中 ， 虚 拟 交 换 机 EVS (Elastic Virtual Switch) 起 到 了 重 
要 作用 。 那 么 什么 是 虚拟 交换 机 呢 ? 图 9-13 是 EVS 的 架构 图 。 





EVS 逻辑 架构 设计 


Cfg group VLAN 












EVS 控制 面 
on EVS swSwitch 
L2 数据 面 


VLAN| L2/L3 Security 


Flow table 





图 9-13 单机 EVS 架 构图 
单机 EVS 功 能 模块 职责 表 如 表 9-2 所 示 。 
表 9-2 单机 EVS 功 能 模块 职责 表 


功能 模块 名 称 ”职责 

EVS Mgmt EVS 对 象 管理 ， 文 持 创建 多 个 EVS 对 象 

Port Mgmt 管理 虚拟 交换 机 的 端口 资源 ， 根 据 VM 申 请 给 其 分 配 
虚拟 交换 机 端口 资源 ， 该 端口 最 终 和 VM 的 vVNIC 对 应 

Cfg group 提供 配置 组 能 力 ， 方 便 用 户 对 端口 做 批量 配置 

VLAN 提供 标准 的 802.1Q 能 


Qos 提供 基本 的 Qos 能 力 ， 实 现 对 虚拟 机 的 带宽 保护 、 流 
量 限 速 、 简 单 的 流量 整形 等 

ACL 基于 五 元 组 ， 根 据 ACL 规 则 对 包 转 发 引擎 进行 规则 配 
置 ， 对 转发 的 报 文 根据 规则 进行 接收 /丢弃 处 理 

L2 Security 提供 二 层 的 IP/MAC 防 欺骗 的 安全 能 

Mac Learning ”提供 用 户 态 的 Maclearning 学 习 能 力 

UpLink 管理 上 行 链 路 和 上 行 端口 ， 连 接 上 行 链 路 和 物理 网 
卡 ， 用 户 申 请 上 行 端口 时 必须 连接 到 指定 的 Uplink 链 
路 上 ， 通 过 VLAN 能 力 的 属性 设置 保证 VM 的 流量 从 该 
上 行 端口 (上行 链 路 ) 上 收发 。Uplink 还 会 管理 普通 
nic、inic、enic 等 各 种 资源 ， 并 提供 inic 或 者 enic 能 力 下 
的 网 络 直通 对 应 的 资源 分 配 能 

EVS.swSwitch ”Host 的 二 层 虚 拟 交 换 能 力 ， 保 证 二 层 报 文 的 跨 VM.、 
跨 host 的 交换 能 力 ; 提供 QoS、VLAN、L2/L3 Security 
等 功能 ， 并 针对 每 条 数据 流 建 并 对 应 的 flow ” table 表 
0 后 续 数 据 流 基于 对 应 的 flow table 表 项 进行 快速 交 








9.4.2 IP/MAC 防 欺骗 功能 设 t 
弹性 EVS 实 现 的 一 个 重要 网 络 安全 功能 是 IP/MAC 的 防 欺 骗 功 能 。 
其 功能 包括 : 

” 截获 dhcp 报 文 ， 进 行 解析 ; 


” ”对 开启 IP/MAC 防 欺骗 功能 的 虚拟 网 卡 侧 过 来 的 报 文 进行 非法 
dhcp 报 文 过 滤 ; 


” 根据 开启 IP/MAC 防 欺骗 功能 的 虚拟 网 卡 的 dhcp ack 报 文生 成 对 
应 IP/MAC 防 欺骗 DB 条 目 ， 用 于 IP 报 文 源 地 址 防 欺 骗 和 ARP 报 文 防 
欺骗 。 

9.4.3 VLAN 


通过 虚拟 网 桥 实现 虚拟 交换 功能 ， 虚 拟 网 桥 文 持 YLAN Tagging 功 能 ， 


实现 VLAN 隔 离 ， 确 保 虚 拟 机 之 间 的 安全 隔离 。 


虚拟 网 桥 的 作用 是 桥接 一 个 物理 机 上 的 虚拟 机 实例 。 虚 拟 机 的 网 卡 
eth0、eth1 等 称 为 前 端 接口 (front-end) 。 后 端 (back-end) 接口 为 vif， 
连接 到 Bridge。 这 样 ， 虚 拟 机 的 上 下 行 流 量 将 直接 经 过 Bridge 转 发 。 
Bridge 根 据 mac 地 址 与 vif 接 口 的 映射 关系 做 数据 包 转 发 。 


Bridge 文 持 VLAN Tagging 功 能 ， 这 样 分 布 在 多 个 物理 机 上 的 同一 个 虚拟 
机 安全 组 的 虚拟 机 实例 可 以 通过 VLAN Tagging 对 数据 帧 进行 标识 。 网 
络 中 的 交换 机 和 路 由 器 可 以 根据 VLAN 标 识 决 定 是 否 对 数据 帧 路 由 和 转 
发 ， 也 可 以 依据 VLAN 标 识 提供 虚拟 网 络 的 隔离 功能 。 


如 图 9-14 所 示 ， 处 于 不 同 物理 服务 器 上 的 虚拟 机 通过 VLAN 撤 术 可 以 划 
分 在 同一 个 局 域 网 内 ， 同 一 个 服务 器 上 的 同一 个 VLAN 内 的 虚拟 机 之 间 
通过 虚拟 交换 机 进行 通信 ， 而 不 同 服务 右上 的 同一 VLAN 内 的 虚拟 机 之 
间 通 过 交换 机 进行 通信 ， 确 保 不 同 局 域 网 的 虚拟 机 之 间 的 网 络 是 隔离 
的 ， 不 能 进行 数据 交换 。 











物理 服务 器 1 物理 服务 器 2 
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vRNIlIviAN? 
虚拟 交换 机 





接 入 交换 机 
图 9-14 VLAN 组 网 图 
9.5” 云 数据 安 
数据 是 云 计算 的 核心 ， 数 据 的 安全 包括 数据 的 机 密 性 保护 〈 张 三 的 数据 


不 能 被 李 四 读 取 ) 、 完 整 性 保护 数据 不 能 被 算 改 ) 、 数 据 操作 审计 等 
内 容 。 下 面 介绍 云 数 据 安全 的 一 些 解决 方案 。 








云 计算 虚拟 磁盘 加 密 方案 
云 计 算 用 户 最 大 的 担心 就 是 个 人 数据 安全 ， 由 于 云 计 算 将 数据 集中 管 








理 ， 数 据 不 再 由 用 户 自 己 管 控 ， 而 是 被 云 计算 运营 企业 、 云 计算 管理 员 
控制 ， 如 何 保证 这 些 用 户 的 数据 不 被 偷 看 、 泄 露 ? 如 何 保证 用 户 数 据 不 
会 在 不 同 用 户 间 交叉 ， 造 成 泄露 ? 数据 加 密 是 其 中 最 可 信 的 解决 方案 ， 
从 密码 理论 上 讲 ， 只 要 用 户 的 密 钥 没 暴露 ， 即 使 数据 丢失 也 能 保障 信息 
不 外 泄 〈“ 见 图 9-15) 。 


加 密 业 务 证 书 公私 钥 
人 二 开通 关闭 申请 获取 
管理 


全 盘 加 解密 











IT 管 理 员 


最 终 用 户 登录 VM， “和 四 N 
磁盘 加 密 方案 设计 


图 9-15” 云 计算 虚拟 磁盘 加 密 系 统 (VES ) 
云 计 算数 据 安全 解决 方案 


对 虚拟 机 数据 盘 进 行 全 盘 加 密 ， 加 密 过 程 通过 降低 CPU 消耗 来 避免 影 啊 
系统 效率 。 采 用 加 密 机 、PKI 证 书 、 对 称 密 钥 三 级 密 钥 机 制 提供 对 用 户 
虚拟 磁盘 的 高 强度 、 高 安全 性 加 密 。 数 据 安全 防护 系统 与 第 三 方 CA 无 
颖 对 接 ， 提 供 蜗 安全、 高 可 靠 的 密 钥 管 理 服 务 。 通 过 屏 珊 云 平台 差异 ， 
若 容 所 有 类 型 的 Hypervisor， 实 现 与 云 业 务 省 理 系统 松 厢 合 关 系 以 及 数 
据 安全 防护 系统 的 独立 部 署 。 























数据 安全 是 保障 数据 中 心安 全 的 重点 。 为 了 保障 用 户 的 数据 安全 ， 震 要 
从 数据 隔离 、 访 问 控 制 等 多 个 方面 采取 措施 。 

用 户 卷 访问 控制 

系统 对 每 个 卷 定 义 不 同 的 访问 策略 ， 没 有 访问 该 卷 权限 的 用 户 不 能 访问 
该 卷 ， 只 有 卷 的 真正 使 用 者 〈 或 者 有 该 卷 的 访问 权限 ) 才 可 以 访问 该 

卷 ， 每 个 卷 之 间 是 互相 隔离 的 。 


存储 市 点 接 入 认证 











” 存储 节操 采用 标准 的 SCSI 进 行 访问 ， 并 且 文 持 询 问 握手 认证 协 
议 (CHAP，Challenge Handshake Authentication Protocol) 认证 功 
能 。CHAP 协 议 可 通过 三 次 握手 ， 周 期 性 校 验 对 端的 身份 。CHAP 

认证 可 在 初始 链 路 建立 时 、 完 成 时 以 及 在 链 路 建立 之 后 重复 进行 。 

通过 递增 改变 的 标识 符 和 可 变 的 询问 值 ， 可 防止 来 自 端 点 的 重 放 攻 
击 ， 限 制 暴 露 于 单个 攻击 的 时 间 。CHAP 认 证 功能 可 以 提高 应 用 服 
务 器 访问 存储 系统 的 安全 性 。 


” 存储 系统 启用 CHAP 认 证 以 后 ， 应 用 服务 器 侧 也 必须 启用 CHAP 
认证 ， 同 时 在 存储 系统 中 把 应 用 服务 器 的 信息 加 入 到 存储 系统 的 合 
法 CHAP 用 户 ， 只 有 经 过 CHAP 认 证 通过 以 后 ， 才 能 连接 到 存储 系 
统 并 存 取 数据 。 


剩余 数据 删除 


“ 当 用 户 把 卷 秋 载 释放 后 ， 系 统 在 把 该 卷 进行 重新 分 配 之 前 ， 会 
对 该 卷 进行 数据 格式 化 ， 以 保证 该 卷 上 的 用 户 数据 的 安全 性 。 

” 存储 的 用 户 文 件 /对 象 删除 后 ， 对 应 的 存储 区 进行 完整 的 数据 擦 
除 ， 并 标识 为 只 写 〈 只 能 被 新 的 数据 履 写 ) ， 保 证 不 被 非法 恢复 。 
数据 备份 

” 云 数 据 中 心 的 数据 存储 采用 多 重 备份 机 制 ， 每 一 份 数据 都 可 以 


有 一 个 或 者 多 个 备份 ， 当 数据 因 存 储 载体 〈 如 人 硬盘) 出 现 故障 的 时 
候 ， 不 会 引起 数据 的 丢失 ， 也 不 会 影响 系统 的 正常 使 用 。 














” 系统 对 存储 数据 按 位 或 字 节 的 方式 进行 数据 校 验 ， 并 把 校 验 的 
信息 均匀 地 分 散 到 阵列 的 各 个 磁盘 上 。 阵 列 的 磁盘 上 既 有 数据 ， 也 
有 数据 校 验 信 息 ， 数 据 块 和 对 应 的 校 验 信息 会 存储 于 不 同 的 磁盘 
上 ， 当 一 个 数据 盘 损坏 时 ， 系 统 可 以 根据 同一 融 区 的 其 他 数据 块 和 
对 应 的 校 验 信息 来 重 构 损 坏 的 数据 。 


IPSAN 保 险 箱 技 术 


存储 系统 人 遭遇 意外 挥 电 时 ， 采 用 数据 保险 箱 技 术 保 证 数据 的 安全 性 和 完 
整 性 。 数 据 保险 箱 技 术 即 从 系统 中 的 某 几 块 硬 盘 上 划分 出 一 定 区 域 ， 用 
来 专门 存放 因 突 然 掉 电 而 尚未 及 时 写 入 硬盘 的 Cache 数 据 和 一 些 系统 配 
置信 息 。 当 系统 外 部 供电 中 断 时 ， 则 通过 内 置 电 字 或 外 置 UPS 供 电 ， 使 
得 Cache 中 的 数据 能 够 写 入 数据 保险 箱 。 当 外 部 电力 恢复 时 ， 控 制 器 再 
将 数据 从 数据 保险 箱 中 读 回 到 Cache， 继 续 完成 对 数据 的 处 理 。 


9.6 公有 云 、 去 的 安全 攻 

















虚拟 化 带 来 的 最 大 威胁 是 虚拟 机 间 资 源 未 完全 隔离 ， 云 计算 提供 了 同一 
物理 机 上 不 同 虚 拟 机 之 间 的 资源 隔离 ， 避 免 虚 拟 机 之 间 的 数据 锣 取 或 亚 
意 攻击 ， 保 证 虚拟 机 的 资源 使 用 不 受 周 边 虚 拟 机 的 影响 。 终 端 用 户 使 用 
虚拟 机 时 ， 仅 能 访问 属于 自己 的 虚拟 机 的 资源 (如 硬件、 软件 和 数 
据 ) ， 不 能 访问 其 他 虚拟 机 的 资源 ， 保 证 虚拟 机 隅 离 安 全 。 


实现 原理 如 图 9-16 所 示 。 


Host 2 


办 公 区 域 (Public Area) 
HR(VLAN100) ; ; DMZ(VLAN 102) ! : 


， Security Group A 


:VMI VM VM |!: 


:: VM 











图 9-16 ”安全 组 原理 


用 户 可 以 根据 虚拟 机 的 属性 灵活 定义 安全 组 ， 包 括 IP、MAC、VLAN.、 

Subnet 等 元 数据 。 安 全 组 是 具有 同等 安全 要 求 的 一 组 虚拟 机 。 安 全 组 可 
以 由 一 个 或 多 个 VM， 也 可 以 由 一 个 或 多 个 VLAN 组 成 。 安 全 组 的 策略 

可 以 细 化 到 VLAN 甚 至 每 台 VM。 每 个 安全 组 对 应 一 个 安全 域 ， 可 以 基 

于 安全 组 定义 自己 的 访问 控制 规则 ， 实 现 域内 和 域外 的 安全 隔离 。 安 全 
组 间 的 访问 控制 在 Hypervisor 层 实现 ， 每 个 host 上 部 署 一 个 ， 不 占用 额外 
的 虚拟 机 资源 ， 不 存在 安全 检测 引流 导致 的 流量 迁 回 问题 。 




















安全 网 关 控 制 器 〈Security Gateway Controller，SGC) 是 实现 VM 隔离 功 
能 的 核心 组 件 ， 它 部 署 在 Hypervisor， 主 要 功能 如 下 : 


”> 当 SGC 上 不 存在 从 源 VM 到 目的 VM 的 安全 组 规则 时 ， 它 和 目的 
端 SGC 进 行 安 全 组 规则 协商 ， 以 决定 是 否 允 许 VM 之 间 的 通信 ; 


> 当 SGC 本 地 的 安全 组 成 员 表 、 安 全 组 规则 表 发 生变 化 时 ， 需 要 
通知 相关 SGC 做 相应 的 更 新 ; 





” SGC 接收 安全 组 规则 协商 请 求 消 上 息 ， 根 据 本 地 的 安全 组 成 员 表 





和 安全 组 规则 表 ， 动 态 生 成 安全 组 会 话 表 ; 


- SGC 接 收 安全 组 成 员 、 安 全 组 规则 表 《〈 增 、 删 、 改 ) 通知 消 
恩 ， 以 及 VM 渤 移 和 事件， 并 做 相应 处 理 ; 


> SGC 接 收 Hypervisor 发 来 的 VM 在 线 、 离 线 事件 ， 并 做 相应 处 


97 ”去 安全 管 
9.7.1 志 管 理 


云 计算 带 来 了 成 本 降低 、 效 率 提 高 等 一 系列 好 处 的 同时 ， 由 于 计算 、 存 
ba 对 管理 维护 提出 了 更 高 的 安全 要 求 ， 以 保障 基础 设施 的 安全 


运行 。 

系统 支持 集中 的 日 志 收 集 和 存储 ， 满 足 各 种 审计 要 求 ， 如 分 级 保护 。 
般 的 云 计 算 平台 均 支 持 以 下 三 类 日 志 。 

(1) 操作 日 志 


操作 月 志 记录 操作 维护 人 员 在 慎 理 市 点 进行 的 管理 维护 操作 ， 包 括 用 
户 、 操 作 类 型 、 客 户 端 卫 、 关 键 参数 、 操 作 时 间 、 操 作 结 果 等 内 容 ， 存 
放 在 管理 节点 的 数据 库 中 。 审 计 人 员 可 通过 OMS Portal 导 出 和 查看 操作 
日 志 ， 定 期 审计 操作 维护 人 员 在 管理 节点 进行 操作 ， 及 时 发 现 不 当 或 恶 
意 的 操作 。 操 作 日 志 也 可 作为 抗 抵 赖 的 证 据 。 


(2) 运行 目下 














运行 日 志 记 录 各 节点 的 运行 情况 ， 分 为 debug、info、warning、error 4 个 
级 别 ， 优 先 级 依次 递增 ， 可 由 日 志 级 别 来 控制 日 志 的 输出 。 


各 节点 的 运行 日 志 通 过 日 志 管 理 组 件 统一 汇总 、 过 滤 成 高 级 别 日 志 
Cwarning、 error 级 别 ) 和 完整 日 志 《〈 包 括 所 有 已 设 置 输出 级 询 的 日 志 
包 ) 。 高 级 别 日 志 定 期 汇总 到 日 志 服 务 器 统一 存放 。 完 整 日 志 在 本 地 存 
放 ， 并 支持 通 过 脚本 方式 上 载 指定 节点 、 时 间 段 的 完 整 整 日 志 到 日 志 服 务 











路 


运行 日 志 包 括 级 别 、 线 程 名 称 、 运 行 信息 等 内 容 ， 维 护 人 员 可 通过 0 
运行 日 志 ， 了 解 和 分 析 系 统 的 运行 状况 ， 及 时 发 现 和 处 理 异常 情 ; 


(3) 黑匣子 日 志 
黑匣子 日 志 记 录 系 统 严重 故障 时 的 定位 信息 ， 主 要 用 于 故障 定位 和 故障 


处 理 ， 便 于 快速 恢复 业务 。 其 中 计算 节点 产生 的 黑匣子 日 志 汇 总 到 日 志 
,00% 存放 ， 而 管理 节点 、 存 储 节 点 产生 的 黑匣子 日 志 在 本 地 存 
有 夏 。 








云 计 算 系 统 文 持 集 中 的 日 志 收 集 和 存储 ， 如 图 9-17 所 示 。 









集中 日 志 服 务 器 


i FTP/TFTP 
运行 日 志 
黑匣子 日 志 


App App 


Host Guest 
OS OS 


管理 节点 管理 节点 计算 节点 


图 9-17 集中 日 志 管 理 


ee 收集 客户 端 ， 实 时 收集 本 地 产生 的 运行 日 志 、 黑 匣子 
日 志 ， 通 过 配置 日 志 收 集 服务 占 ， 实 现 将 日 志 数 据 过 小 成 局 级 别 日 志和 
完整 日 志 ， 局 级 别 日 志 定 期 汇总 到 集中 日 志 服 务 占 。 
本 地 节操 ， 可 通过 脚本 把 指 定 节 点 、 指 定时 间 段 的 完整 日 志 汇 总 到 日 志 
服务 器 进行 集中 管理 ， 主 要 管理 方法 如 下 。 














安全 告警 管理 


安全 告警 是 指 当 系统 侦 测 到 违背 安全 策略 的 事件 行为 时 ， 将 与 安全 事件 
相关 的 一 些 信息 上 报 给 安全 告警 管理 ， 管 理 员 根据 这 些 信 息 对 违背 安全 
打上 略 的 行为 进行 及 时 处 理 ， 排 除 安全 隐患 。 安 全 告 党 上 报 的 内 容 包 含 告 
警 的 来 源 、 告 警 产生 的 时 间 、 告 警 产生 的 原因 、 服 务 提 供 者 、 服 务 使 用 
者 、 告 警 级 别 、 事 件 类 型 等 信息 。 

管理 
志 可 以 了 解 系统 的 运行 情况 和 操作 记录 ， 用 于 用 户 行为 审计 
和 问题 定位 。 日 志 分 为 操作 日 志和 运行 日 志 ， 操 作 日 志 与 系统 安全 相 

天 。 操 作 日 志 记 录 了 用 户 对 系统 所 做 的 操作 以 及 操作 的 结 末 ， 用 于 跟踪 
ee 


























日 志 备份 
系统 需要 定期 备份 操作 日 志 ， 并 提供 “定时 周期 性 备份 方式 ”备份 操作 日 
志 ; 日 志 备份 成 功 后 ， 系 统 会 自动 删除 已 备份 的 日 志 。 

在 界面 上 查看 日 志 时 ， 采 用 Https 方 式 进行 传输 。 查 看 日 志 时 采取 的 安全 
彰 施 如 下 。 


” 根据 管理 员 的 权限 定义 日 志 查 看 范围 。 超 级 管理 员 能 查看 所 有 
日 志 ， 但 普通 管理 员 仅 能 得 看 自己 的 操作 日 志 。 任 何人 员 不 能 在 界 
面 上 修改 或 删除 日 志 。 有 碍 询 权 限 的 人 才能 导出 日 志 。 

















”日志 格式 各 系统 针对 操作 日 志 提 供 多 个 字段 ， 详 细 记录 外 界 
用 户 在 系统 上 执行 的 具体 操作 、 用 户 信息 、 操 作 时 间 等 信息 ， 便 于 
管理 员 根 据 操作 日 志 识 别 有 风 险 的 操作 或 已 导致 问题 的 危险 操作 ， 
并 采取 合理 的 防卫 措施 ， 提 高 系统 的 安全 性 。 











人 硬件 设 备 及 系统 存在 初始 默认 的 账号 和 密码 ， 主 要 是 用 于 维护 硬件 设备 
及 系统 。 建 议 管理 员 首 次 登录 融和 修改 默认 密码 ， 且 修改 时 需 满 足 冤 码 复 
杂 度 和 要求， 同时 建议 管理 员 定 期 修改 密码 ， 确 保密 码 不 泄漏 。 




















系统 中 各 类 账户 的 密码 加 密 、 设 置 和 修改 原则 如 表 9-3 所 示 。 
表 9-3 ”各 类 账户 的 密码 加 密 、 设 置 和 修改 原则 


项 原则 








密码 首次 登录 系统 时 ， 需 要 修改 系统 默认 密码 ， 密 码 修改 方法 请 参 
首次 “上 见 账 户 密 码 维护 ， 密 码 设 置 需 满 足 密码 策略 表 要 求 
设置 


原则 
ee 
0D 密 
原则 


密码 ”只 有 通过 认证 的 用 户 ， 才 能 修改 密码 ; 修改 密码 时 ， 必 须 通过 
修改 旧 密 码 校 验 ;， 密码 达到 最 长 有 效 期 后 ， 用 户 再 次 登录 时 ， 系 统 
原则 “强制 用 户 更 改 密码 ; 密码 需要 定期 修改 ， 对 于 管理 员 密 码 ， 建 
议 最 长 180 天 修改 一 次 

密码 ”系统 安装 时 生成 默认 的 密码 策略 表 ;， 密 码 策略 表 只 有 系统 管理 
策略 ” 员 有 权 修 改 ， 修 改 密码 策略 表 后 ， 根 据 原 有 密码 策略 表 设 置 的 
表 修 ”密码 能 够 正常 登录 

改 原 

则 














9.7.3 ”分 权 分 域 管 性 








通过 对 管理 员 区 分 权限 ， 对 被 访问 的 数据 区 分 权限 ， 限 制 管理 员 访 问 系 
统 的 范围 ， 保 证 系统 的 安全 。 管 理 员 分 权 分 域 管理 模型 遵循 美国 国家 标 
准 与 技术 研究 院 (NIST, The National Institute of Standards and 
Technology) 标准 的 基于 角色 的 访问 控制 (RBAC，Role Based Access 
Control ) 模型 。 





三 权 分 立 


底层 采用 强制 访问 控制 措施 ， 在 系统 启动 的 时 候 就 自动 产生 系统 省 理 
员 、 审 计 员 和 操作 员 三 类 角色 ， 而 且 每 类 角色 可 以 延伸 新 的 角色 ， 系 统 


“分 权 " 指 区 分 “操作 权限 "， 它 由 “角色 * 进 行 控制 。 一 个 “角色 ”可 拥有 一 
个 或 多 个 不 同 的 “操作 权限 ”， 一 个 “用 户 * 可 拥有 一 个 或 多 个 不 同 的 “ 角 
色 ”。 通 过 绑 定 “用 户 * 和 角色 ”， 实 现 “用 户 ” 和 "操作 权限 的 绑 定 。 如 果 
一 个 "用 户 * 拥 有 多 个 “角色 ”， 其 拥有 的 “操作 权限 "是 多 个 "角色 ”拥有 
的“ 操作 权限 "的 并 集 。 产 品 支持 灵活 的 设置 角色 ， 并 灵活 赋 了 角色 拥有 
9 权限 。 


分 域 
“分 域 " 指 区 分 “数据 管理 范围 *。 
基础 设施 及 虚拟 桌面 分 权 分 域 管理 


创建 多 个 管理 员 用 户 ， 并 支持 对 各 管理 员 用 户 进行 操作 权限 和 数据 权限 
的 管理 。“ 超 级 管理 员 * 可 根据 企业 自身 的 业务 需要 ， 在 “桌面 云 业 务 维 
护 系统 ”系统 中 添加 “业务 管理 员 ”， 通 过 “业务 管理 员 * 管 理 和 维护 企业 
的 桌面 云 资源 。“ 超 级 管理 员 * 可 赋予 “业务 管理 员 * 不 同 的 角色 ， 用 以 定 
义 用 户 可 执行 的 操作 权限 。“ 超 级 管理 员 * 可 配置 “业务 管理 员 *， 用 以 定 
义 用 户 可 执行 操作 的 范围 。 这 里 提 到 的 “超级 管理 员 ” 不 一 定 是 一 个 人 ， 
出 于 安全 需要 ， 可 能 是 以 多 个 人 联合 完成 的 ， 比 如 5 个 人 ， 每 个 人 拥有 
一 段 独立 的 密码 ，5 个 人 分 别 输入 密码 才能 让 超级 管理 员 权限 生效 ， 而 
超级 管理 员 的 操作 则 在 5 个 人 的 监督 下 完成 。 


























9.8” 云 安全 应 用 实施 案 伪 


茶 单 位 以 前 采用 传统 PC 办 公 ， 终 端 数量 众多 ， 维 护 工作 量 大 ， 分 级 保 
护 终端 软件 安装 和 维护 成 本 巨大 ， 使 用 和 维护 极其 不 便 ， 即 使 在 此 情况 
下 ， 泄 密 风 险 也 时 刻 存 在 。 因 此 应 重视 果 面 云 搁 术 解决 安全 问题 ， 实 现 
安全 和 方便 地 办 公 。 


云 果 面 管 理 包括 果 面 管理 和 虚拟 化 管理 两 个 部 分 。 虚 拟 果 面 省 理 软 件 提 
供 蜗 性 能 且 可 靠 的 架 面 投 送 。 虚 拟 化 管理 对 人 硬件 设备 (服务 器 、 和 存储 、 
交换 机 ) 、 虚 拟 资源 进行 集中 管理 ， 采 用 B/S 架 构 ， 可 以 远程 统一 管理 


本 项 目 中 VDI 更 面 、 应 用 虚拟 化 、 服 务 需 虚拟 化 三 个 资源 池 。 虚 拟 化 管 
理 系统 可 管理 、 监 控 硬 件 资 源 、 虚 拟 资 源 ， 文 持 虚 拟 机 的 快速 部 闭 、 定 
制 化 集 略 调度 。 


桌面 云 登录 认证 采用 身份 认证 网 关 和 AD 认 证 共存 的 解决 方案 ， 对 最 终 
用 户 体现 为 USBkey 登 录 认 证 ， 桌 面 云 内 部 实际 认证 利用 AD 的 域 用 户 名 / 
由 身份 认证 网 关 / 管 控 平 台 实 现 用 户 证 书 与 用 户 名 /密码 的 映射 转 


身份 认证 网 基部 党 在 安全 搂 入 网 天 前 ， 登录 WI 的 会 话 请 求 被 网 关 客 户 

端 截获 ， 送 到 身份 认证 网 关 ( 由 网 关 客 户 端 与 身份 认证 网 关 建 立 安 全 加 
密 通 道 ) ， 经 过 解析 处 理 《〈 如 域 用 户 密 密 得 代 项 ) 后 转发 到 WI 〈 见 图 9- 
18) ， 可 登录 WI (网 页 界面 ，Web Interface) 或 通过 虚拟 机 实现 单 点 登 
录 〔( 只 输入 一 次 PIN 码 ) 。 


管理 平台 








” 接受 管控 平台 客户 端的 USBkey 注 册 。 


” USBkey 认 证 的 用 户 管理 ， 包 括 用 户 与 证 书 的 对 应 关系 ， 以 及 维 
i 密码 的 上 映射， 供认 证 网 关 通 过 登录 模块 查询 域 用 
户 名 和 密码 








” 定期 自动 修改 用 户 的 域 密码 。 
认证 网 天 


~ 用户 USBkey 的 登录 认证 : 认证 通过 后 代 填 用 户 名 /密码 ， 然 后 
登录 到 WTI。 












































网 关 客户 端 模块 








管理 平台 客户 端 




















桌面 协议 服务 端 | 





介面 协议 客户 端 











VM 
图 9-18 ”桌面 云 系 统 安全 架构 


i 网 关 客 户 端 模块 : 拦截 TC 到 Wi 的 登录 请 求 ， 代 理 转发 到 认证 
网 关 。 


” 管控 平台 客户 端 USBkey 使 用 前 注册 到 管控 平台 ， 第 一 次 注册 
需要 输入 用 户 的 域 用 户 名 和 密码 ; 截获 PIN 码 到 管控 平台 中 “为 保 
证 PIN 人 码 、 密 码 的 安全 ， 需 经 过 认证 网 关 ) 。 


> 登录 模块 ， 从 管控 平台 获取 PIN 码 、 用 户 名 和 密码 ， 然 后 登录 
虚拟 机 。 


9.9 ” 云 计 算 安 全 的 其 起 


D 








安全 与 用 户 体验 


云 计 算 体系 采用 的 安全 措施 越 多 ， 该 云 体系 的 投入 和 运营 成 本 相对 没有 
安全 措施 云 计 算 体系 的 投入 与 成 本 会 越 高 ， 出 于 安全 的 需要 ， 运 营 维护 
效率 也 会 相对 降低 。 举 个 最 简单 的 例子 ， 大 家 在 使 用 互联 网 时 最 头疼 的 
一 个 问题 就 是 密码 ， 不 同 的 网 站 对 密码 的 格式 要 求 不 同 ， 导 致 我 们 需要 














记 下 很 多 用 户 名 冤 码 ， 密 码 起 记 是 常事 ， 找 回 密 码 往 往 还 需 另 外 一 个 密 
码 。 提 升 体系 安全 性 的 同时 ， 怎 样 改善 用 户 体 验 ， 还 需要 持续 不 断 的 改 
进 。 利 用 虹 面 云 安 全 方案 来 蔡 换 以 前 的 PC 安全 方案 便 是 一 个 很 好 的 例 
子 。 桌 面 云 安全 性 不 仅 比 PC 时 代 提 升 了 ， 而 且 终 端 用 户 体验 以 及 运 维 
管理 效率 还 能 得 到 大 幅 提升 ， 这 无 疑 是 涉 密 企业 与 机 构 的 极 佳 选择 。 


安全 与 效益 








作为 企业 而 言 ， 要 综合 地 考虑 安全 问题 ， 因 为 企业 需要 效率 和 赢利 。 比 
如 ， 对 于 当今 已 经 竞争 白热化 的 企业 电子 商务 ， 安 全 问题 很 重要 ， 因 为 
每 个 安全 漏洞 可 能 部 意味 着 企业 的 损失 ,但 出 于 苋 争 的 需要 ， 企 业 需 要 
不 断 创新 交易 模式 ， 比 如 交易 模式 由 PC 的 互联 网 点 对 点 固定 交易 过 波 
到 手机 的 移动 交易 模式 ， 以 此 来 抢占 更 多 的 市 场 空 间 。 创 新 本 里 束 会 有 
安全 风险 《比如 手机 更 容易 丢失 ， 更 容易 被 植 入 恶意 软件 ) ， 企 业 大 想 
抢占 先 机 ， 必 须 去 承担 这 个 风险 ， 不 能 因此 退缩 不 前 。 被 竞争 对 手 超越 
所 带 来 的 损失 ， 可 能 比 黑客 伪 取 一 部 分 资金 的 损失 大 得 多 。 可 以 由 此 衍 
生出 保险 模式 ， 比 如 一 些 企业 以 “你 敢 付 、 我 就 敢 赔 ”这 种 承担 安全 风险 
的 前 卫 模 式 ， 大 力 拓展 其 市 场 空间 。 





























第 10 将 YI YIZ 人 人、 交心 = = 大 


10.1 寺 点 与 支撑 技术 


从 技术 角度 来 看 ， 大 数据 所 涵盖 的 范围 往往 比 人 们 想象 的 鹤 很 多 。 因 为 
无 论 是 大 数据 的 存 取 ， 还 是 大 数据 的 处 理 ， 大 数据 的 分 析 要 受 限 于 当代 
IT 技术 发 展 的 制约 。 正 因为 IT 技术 的 制约 ， 传 统 IT 技术 存储 处 理 能 力 受 
限 ， 所 以 从 I 开 技 术 和 角度 才 感觉 数据 太 “ 大 ”了 。 这 个 “大 ”表现 在 数据 量 的 
大 ， 比 如 大 部 分 存储 设备 都 是 TB 级 ， 几 十 TB 到 数 百 TB 以 及 对 传统 存储 
而 言 是 很 高 的 数据 量 了 。 那 么 几 十 PB、 成 百 上 千 PB 的 数据 量 自然 对 当 
前 存储 系统 而 言 是 “大 数据 ”了 。 存 储 数 据 量 的 “大 ”很 有 时 效 性 ， 因 为 大 
家 都 清楚 ，20 世 纪 90 年 代 初 ，1GB 的 存储 空间 都 觉得 “大 ”得 不 得 了 。 现 
在 说 1GB， 连 PC 机 内 存 配置 都 觉得 不 够 。 数 据 量 级 之 外 的 大 数据 ， 涵 指 
数据 格式 的 多 样 性 ， 特 别 是 大 家 已 经 熟知 的 图 片 、 音 频 、 视 频 、 网 页 、 
日 志 等 半 结 构 化 、 非 结构 化 的 数据 。 除 数据 格式 多 样 性 之 外 ， 其 还 有 数 
据 实 时 性 要 求 、 数 据 价值 密度 等 维度 的 指 代 。 这 就 是 通常 大 家 比较 认可 
的 大 数据 4V 特 性 。 


” 体 量 (Volume) : 非 结构 化 数据 超大 规模 地 增长 ， 占 总 数据 量 
> 
10 倍 到 50 倍 。 



































” 多 样 性 〈Variety) : 大 数据 具有 异 构 的 多 样 性 ， 拥 有 许多 不 同 
形式 〈 文 本 、 图 像 、 视 频 、 机 器 数据 ) ， 无 模式 或 者 模式 不 明显 ， 
拥有 不 连贯 的 语法 或 句 义 。 


” 价值 密度 〈Value) : 有 大 量 的 不 相关 信息 ， 对 未 来 趋势 与 模式 
可 预测 分 析 ， 可 进行 深度 复杂 分 析 〈 机 器 学 习 、 人 工 智能 等 ) 。 





” 速度 《Velocity) : 实时 分 析 而 非 批 量 式 分 析 ， 对 于 实时 的 数据 
输入 、 处 理 与 丢弃 ， 分 析 结 果 立 午 见 影 而 非 事后 见效 。 


首先 是 对 Volume 的 理解 ， 非 结构 化 数据 一 直 存 在 ， 随 着 处 理 成 本 的 降 
低 和 竞争 的 加 剧 ， 非 结构 化 数据 受到 越 来 越 多 的 重视 。 非 结构 化 数据 并 





不 是 完全 没有 “结构 ”的 数据 ， 而 是 包括 类 似 图 像 、 视 频 等 比较 难以 计算 
Mi 
据 。 


第 二 ， 无 论 是 结构 化 大 数据 ， 还 是 非 结构 化 数据 ， 处 理 的 挑战 都 非常 

大 ， 由 于 竞争 的 加 剧 ， 丙 业 过 程 要 求 从 这 些 数 据 中 进行 提取 有 效 信息 的 
时 间 大 大 缩短 。 数 据 量变 大 的 同时 ， 还 要 求 提取 过 程 缩短 ， 并 且 提 取 过 
程 本 里 也 越 来 越 复 杂 化 ， 甚 至 对 同一 个 业务 问题 的 解答 ， 要 求 用 不 同 模 
型 或 者 同一 模型 的 不 同 参数 加 以 对 比 印 证 。 


不 同性 质 、 不 同 来 源 但 是 与 同一 个 商业 对 象 〈 比 如 客户 ) 相关 的 各 种 数 
据 ( 比 如 流 数 据 、 块 数据 和 全 局 数据 都 必须 在 一 个 系统 中 进行 有 效 整 
合 ， 形 成 对 这 个 商业 对 象 的 有 效 认 知 ， 从 而 驱动 商业 流程 。 


大 数据 环境 下 ， 数 据 来 源 非常 丰富 且 数 据 类 型 多 样 ， 存 储 和 分 析 挖 掘 的 
数据 量 庞大 ， 对 数据 展现 的 要 求 较 高 ， 并 且 很 看 重 数据 处 理 的 高 效 性 和 
可 用 性 。 传 统 的 数据 采集 来 源 单一 ， 且 存储 、 管 理 和 分 析 数 据 量 也 相对 
较 小 ， 大 多 采用 关系 型 数据 库 和 并 行 数据 仓库 即 可 处 理 。 对 依靠 并 行 计 
算 提 升 数据 处 理 速 度 方面 而 言 ， 传 统 的 并 行 数据 库 技 术 追 求 事务 写 的 一 
致 性 和 容错 性 ， 难 以 保证 其 可 用 性 和 扩展 性 。 传 统 的 数据 处 理 方法 是 以 
处 理 器 为 中 心 ， 而 大 数据 环境 下 ， 需 要 采取 以 数据 为 中 心 的 模式 ， 减 少 
数据 移动 带 来 的 开销 。 因 此 ， 传 统 的 数据 处 理 方 法 已 经 不 能 适应 大 数据 
的 需求 。 针 对 非 结 构 化 数据 ， 利 用 分 布 式 文件 系统 和 MapReduce 技 术 进 
行 处 理 的 Hadoop 技 术 ; 针对 实时 类 数据 ， 采 用 流 处 理 技 术 ， 如 S4、 
Esper、Storm 技 术 ; 针对 结构 化 数据 ， 采 用 已 相对 比较 成 熟 的 关系 型 数 
据 库 技术 ， 如 MPP RDB 技 术 、SMP OLTP、MPP OLAP 技 术 等 。 但 是 ， 
任何 技术 的 发 展 都 是 以 业务 为 根本 驱动 的 〈 见 图 10-1) 。 












































FF------------------ - 
| = 
采用 分 布 式 文件 系统 
和 MapReduce 技 术 处 
理 Hadoopy 


继续 采用 关系 数据 库 ， 二 
传统 证 上 满足 晶 非 结构 数 据 
上 的 需求 1! 现 基 
MPP 技 术 的 并 行 数据 库 
(MPP RDB+SMP OLTP、 结构 化 数据 
MPP OLAP) 
enemies 
实时 类 数据 [| 


' 
' 
上 采用 流 处 理 技术 











图 10-1 大 数据 处 理 技术 








10.1.1 数据 采 


数据 是 指 通 过 传感器 网 络 、 社 交 网 络 及 移动 互联 网 等 方式 获得 的 各 种 类 
型 的 结构 化 、 半 结构 化 及 非 结构 化 的 海量 数据 。 要 重点 突破 分 布 式 高 

速 、 高 可 靠 数据 的 抽取 或 采集 、 高 速 数据 全 映像 等 大 数据 收集 技术 ; 突 
破 高 速 数据 解析 、 转 换 与 装载 等 大 数据 整合 技术 ;设计 质量 评估 模型 ， 

开发 数据 质量 扩 术 。 


大 数据 采集 一 般 分 为 大 数据 智能 感知 层 : 主要 包括 数据 传 感 体系 、 网 络 
通信 体系 、 传 感 适 配 体系 、 智 能 识别 体系 及 软 人 硬件 资源 接 入 系统 ， 实 现 
对 结构 化 、 半 结构 化 、 非 结构 化 的 海量 数据 的 智能 化 识别 、 定 位 、 跟 
踪 、 接 入 、 传 输 、 信 号 转换 、 监 控 、 初 步 处 理 和 管理 等 。 必 须 着 重 攻克 
针对 大 数据 源 的 智能 识别 、 感 知 、 适 配 、 传 输 、 接 入 等 技术 。 重 点 攻克 
分 布 式 虚拟 存储 技术 ， 大 数据 获取 、 存 储 、 组 织 、 分 析 和 决策 操作 的 可 
钢化 接口 技术 ， 太 数据 的 网 络 传输 写 压 缩 报 术 ， 大 数据 隐私 保护 拉 术 ， 














10.1.2 数据 预 处 理 技术 


本 环节 主要 完成 对 已 接收 数据 的 辨析 、 抽 取 、 清 洗 等 操作 。 因 获取 的 数 
据 可 能 具有 多 种 结构 和 类 型 ， 数 据 抽 取 过 程 可 以 帮助 我 们 将 这 些 复杂 的 
数据 转化 为 单一 的 或 者 便于 处 理 的 类 型 ， 以 达到 快速 分 析 处 理 的 目的 。 
所 有 的 大 数据 并 不 全 是 有 价值 的 ， 有 些 数据 并 不 是 我 们 所 关心 的 内 容 ， 
而 另 一 些 数据 则 是 完全 错误 的 干扰 项 ， 因 此 要 对 数据 进行 过 滤 “ 去 品 ”， 





从 而 提取 出 有 效 的 数据 。 
10.1.3 译 诸 及 管 于 


数据 存储 与 管理 要 用 存储 器 把 采集 到 的 数据 存储 起 来 ， 建 立 相 应 的 数据 
库 ， 并 进行 管理 和 调用 。 其 重点 解决 复杂 结构 化 、 半 结构 化 和 非 结构 化 
大 数据 管理 与 处 理 技术 ， 包 括 大 数据 的 可 存储 、 可 表示 、 可 处 理 、 可 靠 
性 及 有 效 传输 等 几 个 关键 问题 。 大 数据 存储 与 管理 还 需要 可 徘 的 分 布 式 
文件 系统 、 能 效 优 化 的 存储 、 计 算 融 入 存储 、 大 数据 的 去 元 余 及 高 效 低 
成 本 的 大 数据 存储 技术 、 分 布 式 非 关 系 型 大 数据 管理 与 处 理 技术 、 异 构 
数据 的 数据 融合 技术 ， 数 据 组 织 技 术 、 大 数据 建 模 技 术 、 大 数据 索引 技 
术 、 大 数据 移动 /备份 /复制 等 技术 、 开 发 大 数据 可 视 化 技术 等 。 


10.1.4 ”数据 分 


大 数据 分 析 技 术 最 近 几 年 获得 了 很 大 的 进展 ， 包 括 改进 已 有 数据 挖掘 算 
法 和 机 器 学 习 技术 ;开发 数据 网 络 挖掘 、 特 异 群 组 挖掘 、 图 挖掘 等 新 型 
数据 挖掘 技术 ;突破 基于 对 象 的 数据 连接 、 相 似 性 连接 等 大 数据 融合 拉 
术 ; 突破 用 户 兴趣 分 析 、 网 络 行为 分 机 、 情 感 语 义 分 析 等 面 问 领域 的 大 
数据 挖掘 技术 。 


数据 挖掘 就 是 从 大 量 的 、 不 完全 的 、 有 噪声 的 、 模 糊 的 、 随 机 的 实际 应 
用 数据 中 ， 提 取 隐 含 在 其 中 的 、 人 们 事先 不 知道 的 但 又 是 潜在 有 用 的 信 
恩 和 知识 的 过 程 。 数 据 挖掘 涉及 的 技术 方法 很 多 ， 有 多 种 分 类 方法 。 


根据 挖掘 任务 可 分 为 分 类 或 预测 模型 友 现 、 数 据 总 结 、 聚 类 、 关 联 规则 
发 现 、 序 列 模式 发 现 、 依 赖 关 系 或 依赖 模型 发 现 、 异 常 和 趋势 发 现 等 。 


根据 挖掘 对 象 可 分 为 天 系数 据 库 、 面 回 对 象 数 据 库 、 空 间 数 据 库 、 时 态 
5 
球 网 Web 等 。 


根据 挖掘 方法 分 ， 可 粗 分 为 机 器 学 习 方 法 、 统 计 方 法 、 神 经 网 络 方法 和 
数据 库 方 法 。 机 器 学 习 中 ， 可 细 分 为 归纳 学 习 方 法 《决策 树 、 规 则 归纳 
等 ) 、 基 于 范例 学 习 、 遗 传 算法 等 。 统 计 方 法 中 ， 可 细 分 为 回归 分 析 

《多 元 回归 、 目 回归 等 ) 、 判 别 分 析 《 贝 叶 斯 判别 、 费 软 尔 判别 、 非 参 
数 判 别 等 ) 、 聚 类 分 析 《〈 系 统 聚 类 、 动 态 聚 类 等 ) 、 探 索性 分 析 〈 主 元 
分 析 法 、 相 关 分 析 法 等 ) 等 。 神 经 网 络 方法 中 ， 可 细 分 为 前 向 神经 网 络 




















(BP 算法 等 ) 、 自 组 织 神经 网 络 《〈 自 组 织 特征 映射 、 竞 争 学 习 等 ) 
等 。 数 据 库 方法 主要 是 多 维 数据 分 析 或 OLAP 方 法 ， 男 外 还 有 面 问 属性 
的 归纳 方法 。 


我 们 可 从 挖掘 任务 和 挖掘 方法 的 角度 ， 着 重 突破 。 





” 可 视 化 分 析 。 数 据 可 视 化 无 论 对 于 普通 用 户 或 是 数据 分 析 专 
家 ， 都 是 最 基本 的 功能 。 数 据 图 像 化 可 以 让 数据 自己 次 话 ， 让 用 户 
直观 地 感受 到 结 


” 数据 挖 气 算法。 图 像 化 是 将 机 器 语言 翻译 给 入 看， 而 数据 挖掘 
就 是 机 器 的 母语 。 分 割 、 集 群 、 孤 立 点 分 析 还 有 五 花 八 门 的 算法 供 
我 们 精 炬 数据， 挖掘 价 值 。 这 些 算法 一 定 要 能 够 应 付 大 数据 的 量 ， 
同时 具有 很 高 的 处 理 速 度 。 


-= 预测 性 分 析 。 预 测 性 分 析 可 以 让 分 析 师 根据 图 像 化 分 机 和 数据 
冬 据 的 结果 做 出 一 些 前 瞻 性 判断 。 


” 语义 引擎 。 语义 引擎 需要 有 足够 的 人 工 智能 以 从 数据 中 主动 地 
提取 信息 。 语 言 处 理 技 术 包 括 机 器 翻 译 、 情 感 分 机、 舆情 分 析 、 智 
能 和 输入、 问答 系统 等 。 

















” 数据 质量 和 数据 管理 。 数 据 质 量 与 管理 是 管理 的 最 佳 实践 ， 透 
ad 
分 析 结 琳 。 


10.1.5 将 现 与 应 


大 数据 技术 能 够 将 隐藏 于 海量 数据 中 的 信息 和 知识 挖掘 出 来 ， 为 人 类 的 
社会 经 济 活 动 提 供 依据 ， 从 而 提高 各 个 领域 的 运行 效率 ， 大 大 提高 整个 
社会 经 济 的 集约 化 程度 。 在 我 国 ， 大 数据 将 重点 应 用 于 以 下 几 大 领域 : 
金融 、 电 了 商 、 公 共 服 务 ， 例 如 商业 智能 技术 、 政 府 决 策 扩 术 、 电 信 数 据 
言 恩 处 理 与 挖掘 技术 、 电 网 数据 信息 处 理 与 挖掘 技术 、 和 气象 信息 分 析 拉 
术 、 环 卉 监测 技术 、 大 规模 基因 序列 分 析 比 对 技术 、Web 信 息 挖 气 技 

术 、 多 媒体 数据 并 行 化 处 理 技 术 、 影 视 制作 泻 染 技术 以 及 其 他 各 种 行业 
的 云 计 算 和 海量 数据 处 理应 用 技术 等 。 























10.2 企业 级 Hadoop 


10.2.1 ” Apache Hadoop 起 源 


Hadoop 由 Apache 基 金 会 于 2005 年 秋天 作为 Lucene 的 子 项 目 Nutch 的 一 部 
分 正式 引入 ， 该 技术 受到 最 先 由 Google 开 发 的 Map/Reduce 和 Google File 
System (GFS) 的 启发 。2006 年 3 月 ，Map/Reduce 和 HDFS (GFS 的 开源 
实现 ) 分 别 被 纳入 称 为 Hadoop 的 项 目 中 。Facebook 向 Apache 基 金 会 贡献 
了 Hive 后 ，Hadoop 系 统 具 备 了 以 类 SQL 方式 处 理 结构 化 数据 的 能 
2010 年 9 月 ，Hive 脱 离 Hadoop， 成 为 Apache 顶 级 项 目 。HDFS、 
MapReduce、Hive 分 别 对 应 分 布 式 系统 的 存储 、 计 算 框架 、 结 构 化 分 析 


会 忆 
月 忆 o 


MapReduce 是 Google 在 2004 年 提出 的 一 个 编程 模型 ， 用 于 大 规模 数据 集 

(大 于 1TB) 的 并 行 运 算 。 概 念 *Map 〈 上 映射 ) ”“Reduce《〈 化 简 ) ”以 
及 其 主要 思想 都 是 从 函数 式 编程 语言 里 借 来 的 ， 并 从 矢量 编程 语言 里 借 
来 了 特性 。 其 极 大 地 方便 了 编程 人 员 在 不 会 分 布 式 并 行 编程 的 情况 下 ， 
将 自己 的 程序 运行 在 分 布 式 系 统 上 。 


GFS (Google File System) 是 Google 在 2003 年 发 表 的 文章 ， 但 现在 仍 被 
广泛 讨论 ， 其 对 后 来 的 分 布 式 文 件 系统 设计 具有 指导 意义 。GFS 的 主要 
假设 为 GFS 的 服务 器 都 是 普通 的 商用 计算 机 ， 并 不 可 徘 ， 集 群 出现 节 点 
故障 是 常态 。 系 统 存储 适当 数量 的 大 文件 ， 理 想 的 负载 是 几 百 万 个 文 
件 ， 文 件 一 般 都 超过 100MB，GB 级 别 以 上 的 文件 是 很 常见 的 ， 必 须 进 
行 有 效 管理 。 负 载 通 香 包 含 两 种 读 ， 即 大 型 的 流 式 读 《〈 顺 序 恋 ) 和 小 型 
的 随机 读 。 前 者 通常 一 次 读数 百 KB 以 上 ， 后 者 通常 在 随机 位 置 读 几 个 
KB。 从 这 些 假设 基本 可 以 看 出 GFS 期 望 的 应 用 场景 应 该 是 大 文件 、 连 
续 读 、 不 修改 、 高 并 发 。HDFS 是 GFS 的 开源 实现 。 


Hive 是 Hadoop 项 目 中 的 一 个 子 项 目 ， 由 Facebook 问 Apache 基 金 会 贡献 。 

Hive 被 视 为 一 个 数据 仓库 工具 ， 可 以 将 结构 化 的 数据 文件 映射 为 一 张 数 
据 库 表 ， 并 可 以 将 SQL 语句 转换 为 MapReduce 任 务 进 行 运 行 。 其 优点 是 
学 习 成 本 低 ， 可 以 通过 类 SQL 语句 快速 实现 简单 的 MapReduce 任 务 ， 不 
必 开 发 专门 的 MapReduce 应 用 ， 十 分 适合 数据 仓库 的 统计 分 析 。 


从 方案 的 架构 来 看 ，Hadoop 已 形成 一 整套 完整 的 生态 环境 ， 是 当前 最 重 
要 的 大 数据 平台 之 一 ， 具 有 展 好 的 并 行 处 理 能 力 、 可 扩展 性 和 伸缩 能 
































力 ， 非 党 适合 处 理 半 结构 化 、 非 结构 化 的 类 文本 数据 ， 如 网 页 、 日 志 


等 
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10.2.2 企业 级 Hadoop 总 体 框架 


企业 级 Hadoop 可 系统 化 地 对 Apache Hadoop 进 行 增强 ， 让 对 Hadoop 缺 乏 
了 解 的 专业 人 员 或 者 只 有 少量 Hadoop 专 业 人 员 的 企业 能 够 利用 Hadoop 
的 处 理 能 力 ， 解 决 本 企业 面临 的 与 大 数据 相关 业务 挑战 。 


企业 级 Hadoop 对 外 提供 大 容量 数据 分 析 和 查询 能 力 ， 解 决 各 大 企业 的 以 
下 需求 〈 见 图 10-2) : 
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图 10-2 ”Hadoop 企 业 产品 定位 
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快速 地 整合 和 管理 不 同类 型 的 大 容量 数据 ; 
对 原生 形式 的 信息 采用 高 级 分 析 ; 

可 视 化 所 有 的 可 用 数据 ， 供 特殊 分 析 使 用 ; 
为 构建 新 的 分 析 应 用 程序 提供 开发 环境 
工作 负荷 的 优化 和 调度 。 


Y 


Y 


SS 


SS 


产品 化 的 Hadoop 需 要 在 开源 Hadoop 版 本 的 基础 上 对 HBase、HDFS 和 
MapReduce 等 组 件 增加 HA、 查 询 和 分 析 功 能 ， 并 进行 性 能 优化 。 


Hadoop 需 要 文 持 多 种 服务 占 的 人 硬件 平台 ， 供 企业 根据 自身 需求 灵活 选 
择 。 用 户 可 以 通过 简单 地 合 加 相应 服务 的 内 存 要 求 来 计算 所 需要 的 内 存 
总 和 。 


产品 化 Hadoop 软 件 系统 整体 结构 如 图 10-3 所 示 。 
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图 10-3 ”Hadoop 软 件 系统 架构 


企业 级 Hadoop 产 品 ， 需 要 对 开源 组 件 进行 封装 和 增强 ， 对 外 提供 稳定 的 
数据 分 布 式 存 储 和 分 析 能 力 ， 包 括 数据 的 访问 、 存 储 、 处 理 和 保护 功 
能 ， 分 为 HDFS、HBase、MapReduce 和 ZooKeeper。 


” HDFS: Hadoop 分 布 式 文件 系统 (Hadoop Distributed File 
System) 能 提供 高 否 吐 量 的 数据 访问 ， 适 合 大 规模 数据 集 方面 的 应 
用 。 


” HBase: 提供 海量 数据 存储 功能 ， 是 一 种 构建 在 HDFS 之 上 的 分 
布 式 、 面 癌 列 的 存储 系统 。 


” MapReduce: 提供 快速 并 行 处 理 大 量 数据 的 能 力 ， 是 一 种 分 布 
式 数 据 处 理 模 式 和 执行 环境 。 





” ”ZooKeeper: 提供 分 布 式 、 高 可 用 性 的 协调 服务 能 力 ， 帮 助 系 
统 避 人 免 单 点 故障 ， 从 而 建立 可 靠 的 应 用 程序 。 


10.2.3 HDFS 


HDFS， 即 Hadoop 分 布 式 文件 系统 (Hadoop Distributed File System)， 能 
提供 高 吞吐 量 的 数据 访问 ， 适 合 大 规模 数据 集 方 面 的 应 用 。HDFS 包 含 
主 、 备 NameNode 和 多 个 DataNode。HDFS 是 一 个 Master/Slave 的 结构 ， 

在 Master 上 运行 NameNode， 而 在 每 一 个 Slave 上 运行 DataNode。 
NameNode 和 DataNode 之 间 的 通信 都 是 建立 在 TCP/IP 的 基础 之 上 的 。 
NameNode 和 DataNode 均 被 设计 为 可 以 部 署 在 Linux 服 务 器 上 【〔〈 见 图 10- 
4、 表 10-1) 。 
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图 10-4_ HDFS 结 校 











表 10-1 HDFS 各 功能 模块 说 明 表 


名 称 描述 
NameNode ”用 于 管理 文件 系统 的 命名 空间 、 目 录 结 构 、 元 数据 信息 
以 及 提供 备份 机 制 等 ， 分 为 : 


> Active NameNode: 管理 文件 系统 的 命名 空间 、 维 护 
文件 系统 的 目录 结构 树 以 及 NameNode 元 数据 信息 ， 记 录 
写 入 的 每 个 “数据 块 ” 与 其 归属 文件 的 对 应 关系 





> ” Secondary NameNode: 对 Active NameNode 进 行 监 


控 ， 对 Active NameNode 中 的 数据 进行 备份 ， 随时 准备 在 
Active NameNode 出 现 异 常 时 接管 其 服务 


DataNode 用 于 存储 每 个 文件 的 “数据 块 "数据 ， 并 且 会 周期 性 地 同 
NameNode 报 告 该 DataNode 的 存放 情况 


HDFS 原 理 如 图 10-5 所 示 。 
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图 10-5 HDFS 工 作 原 理 图 





在 HDFS 内 部 ， 一 个 文件 可 分 为 一 个 或 多 个 “数据 块 "， 这 些 “ 数 据 块 ” 存 
储 在 DataNode 集 合 里 。 客 户 端 连接 到 NameNode， 执 行文 件 系统 的 “命名 
空间 ”操作 ， 例 如 打开 、 关 闭 、 重 命名 文件 和 目录 ， 同 时 决定 “数据 

块 "到 具 站 体 DataNode 节 点 的 映射 。DataNode 在 NameNode 的 指挥 下 进 

行 “ 数 据 块 ”的 创建 、 删 除 和 复制 。 





因为 NameNode 负 责 保管 和 管理 所 有 的 HDFS 元 数据 ， 所 以 用 户 数据 的 读 
写 束 个 需要 通 0 而 是 直接 在 DataNode 上 进行 。 





10.2.4 MapReduce 


MapReduce 是 一 种 简化 并 行 计算 的 编程 模型 ， 名 字源 于 该 模型 中 的 两 项 
核心 操作 : Map 和 Reduce。Map 将 一 个 任务 分 解 成 为 多 个 任务 ，Reduce 
将 分 解 后 多 任务 处 理 的 结果 汇总 起 来 ， 得 出 最 终 的 分 析 结 果 。 
MapReduce 模 型 主要 由 ResourceManager、ApplicationMaster 和 
NodeManager 组 成 ， 如 图 10-6 所 示 。 
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图 10-6 ”MapReduce 框 架 ( 基 于 Yam) 架构 
MapReduce 各 部 分 的 功能 说 明 如 表 10-2 所 示 。 
表 10-2 结构 图 说 明 


名 称 描述 

Client MapReduce 的 客户 端 ， 可 以 通过 客户 端 同 
ResourceManager 发 起 MapReduce 操 作 

ResourceManager MapReduce 的 资源 管理 器 ， 基 于 应 用 程序 对 资源 
的 需求 进行 调度 ， 由 于 每 一 个 应 用 程序 需要 不 同类 
型 的 资源 ， 因 此 需要 不 同 的 容器 ;， 同 时， 资源 管理 











需 提 供 一 个 调度 策略 的 插件 ， 它 负责 将 集群 资源 分 
配给 多 个 队列 和 应 用 程序 ;调度 插件 可 以 基于 现 有 
的 能 力 调 度 和 公平 调度 模型 进行 调度 


NodeManager 负责 执行 应 用 程序 的 容器 ， 同 时 监控 应 用 程序 的 
资源 使 用 情况 (CPU、 内 存 、 便 盘 、 网 络 ) ， 并 回 
ee 

ApplicationMaster ”负责 相应 的 调度 和 协调 ， 结 合 从 ResourceManager 
的 资源 和 NodeManager 协 同 工 作 来 运行 和 监控 
芷 

Container 作为 资源 隔离 ， 当 前 仅仅 提供 java 虚 拟 机 CPU、 内 


存 的 隔离 


新 的 Hadoop ee 架 命名 为 MapReduceV2 或 者 Yarn。Hadoop 


MapReduce 新 框架 


要 分 为 ResourceManager、ApplicationMaster 与 


We 了 分 。 





” ResourceManager 核 心服 务 ， 负 责 调 度 、 启 动 每 一 个 Job 所 属 的 
ApplicationMaster、 同 时 监控 ApplicationMaster 的 运行 情况 。 


ResourceManager 人 负责 作业 与 资源 的 调度 ， 并 接收 JobSubmitter 提 交 
的 作业 ， 按 照 作业 的 上 下 文 (Context) 信息 ， 以 及 从 NodeManager 
收集 来 的 状态 信息 ， 局 动 调度 过 程 ， 分 配 一 个 Container 作 为 


ApplicationMiaster。 


” NodeManager 功 能 比较 专 一 ， 就 是 负责 Container 状 态 的 维护 ， 
并 问 ResourceManager 保 持 心 跳 。 


” ApplicationMaster 人 负责 一 个 Job 生 命 周 期 内 的 所 有 工作 ， 类 似 老 


框架 中 的 JobTracker。 但 注意 每 一 个 Job (不 是 每 一 种 ) 都 有 一 个 
ApplicationMaster， 它 可 以 运 dianaae 以 外 的 机 器 


10.2.5 ZooKeeper 


ZooKeeper 是 一 个 分 布 式 、 高 可 用 性 的 协调 服务 。 产 品 化 Hadoop 系 统 中 
主要 提供 两 个 功能 : 


” 帮助 系统 避免 单 点 故障 ， 建 并 可 徘 的 应 用 程序 ; 


” 提供 分 布 式 协作 服务 和 维护 配置 信息 。 


ZooKeeper 集 群 中 的 节点 分 为 三 种 角色 ， 即 Leader、Follower 和 
Observer， 其 结构 和 相互 关系 如 图 10-7 所 示 。 
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图 10-7 ”ZooKeeper 结 构图 
ZooKeeper 各 部 分 的 功能 说 明 如 表 10-3 所 示 。 


表 10-3 ”ZooKeeper 各 部 分 的 功能 说 明 


名 称 摘 述 

Leader 在 Zookeeper 集 群 中 只 有 一 个 节点 作为 集群 的 领导 者 ， 由 各 
Follower 通 过 Paxos 算 法 选举 产生 ， 主 要 负责 接受 和 协调 所 有 
写 请 求 ， 并 把 写 入 的 信息 同步 到 Follower 和 Observer 

Follower ”Follower 的 功能 有 两 个 : 


> 每 个 Follower 都 作为 Leader 的 储备 ， 当 Leader 故 障 时 重新 
选举 Leader， 避 人 免 单 点 故障 ; 


> 配合 Leader 一 起 进行 写 请 求 处 理 
Observer Observer 不 参与 选举 ， 负 责 接 受 写 请 求 、 处 理 读 请 求 ， 避 











免 系 统 处 理 能 力 浪 费 

Client Zookeeper 集 群 的 客户 端 ， 对 Zookeeper 集 群 进行 读 写 操 
作 。 例 如 HBase 可 以 作为 Zookeeper 集 群 的 客户 端 ， 利 用 
Zookeeper 集 群 的 仲裁 功能 ， 控 制 其 HMaster 
的 “Active” 和 “Standby” 状 态 


ZooKeeper 写 请 求 原理 : 
” Follower 或 Observer 接 受到 写 请 求 后 ， 转 发 给 Leader; 
” Leader 协 调 各 Follower， 通 过 投票 机 制 决定 是 否 接 受 该 写 请 求 ; 
” 投票 结果 为 接受 ， 则 由 Leader 处 理 写 请 求 ; 


> 数据 写 入 完成 后 ，Leader 向 Follower 和 Observer 同步 ， 保 证 所 有 
节点 的 数据 一 致 性 。 


ZooKeeper 只 读 请 求 原理 : 客户 端 直接 同 Leader、Follower 或 Observer 读 
取 数 据 。 


10.2.6 HBase 


HBase 是 一 种 构建 在 HDFS (Hadoop Distributed File System) 之 上 的 分 布 
式 、 面 同 列 的 存储 系统 ， 它 具有 高 可 靠 、 高 性 能 、 面 同 列 和 可 伸缩 的 特 
性 。HBase 适 合 于 存储 大 表 数 据 ( 表 的 规模 可 以 达到 数 十 亿 行 以 及 数 百 
万 列 ) ， 并 且 对 大 表 数 据 的 读 、 写 访问 可 以 达到 实时 级 别 。 


HBase 集 群 由 主 备 HMaster 进 程 和 多 个 RegionServer 进 程 组 成 ， 如 图 10-8 
所 示 。 
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图 10-8 HBase 结 构 
HBase 各 部 分 的 功能 说 明 如 表 10-4 所 示 。 


表 10-4 HBase 功 能 说 明 


名 称 描述 
主 用 HMaster ” 主 用 HMaster 负 贡 管 理 RegionServer 节 点 ， 同 时 维护 集 
群 的 网 络 拓扑 以 及 集群 的 负载 均衡 








备用 HMaster 当主 用 HMaster 故 障 时 ， 备 用 HMaster 将 取代 主 用 
1 外 提供 服务 ， 故 障 恢 复 后 ， 原 主 用 HMaster 降 
为 备用 


RegionServer ”RegionServer 负 责 提 供 表 数据 读 写 等 服务 ， 是 HBase 的 
数据 处 理 和 计算 单元 ;RegionServer 一 般 与 HDFS 集 群 的 

DataNode 合 设 ， 实 现 数据 的 存储 功能 
ZooKeeper 集 ZooKeeper 为 HBase 集 群 中 各 进程 提供 分 布 式 协作 服 


群 务 ; 各 RegionServer 将 自己 的 信息 注册 到 Zookeeper 中 ， 
HMaster 据 此 感知 各 个 RegionServer 的 健康 状态 
HDFS 和 集群 HDFS 为 HBase 提 供 高 可 靠 的 文件 存储 服务 ，HBase 的 
数据 全 部 存储 在 HDFS 中 


HBase 以 表 的 形式 存储 数据 ， 数 据 模 型 如 图 10-9 所 示 。 表 中 的 数据 划分 
为 多 个 Region， 并 由 HMaster 分 配给 对 应 的 RegionServer 进 行 管 理 ， 每 个 
Region 包 含 了 表 中 一 段 Row Key 区间 范围 内 的 数据 ，HBase 的 一 张 数据 
表 开 始 只 包含 一 个 Region， 随 着 表 中 数据 的 增多 ， 当 一 个 Region 的 大 小 
达到 容量 上 限 后 会 分 裂 成 两 个 Region 。 





Row Key Timestamp Column Family 1 Column Family N 
URL Content Column 1 _ Column 2 
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图 10-9 ”HBase 数 据 模 型 
HBase 数 据 模型 中 各 列 的 说 明 如 表 10-5 所 示 。 
表 10-5 ”数据 模型 列 说 明 表 
名 称 描述 
Row Key 表 的 主键 ， 数 据 存 储 时 表 中 的 记录 按照 Row Key 的 字符 
序 进行 排序 


Timestamp ”插入 数据 时 对 应 的 时 间 惟 ，HBase 文 持 相同 Row Key 的 多 


版 本 数据 存储 


Column “ 列 族 ，HBase 中 表 在 水 平方 向 上 由 一 个 或 者 多 个 Column 
Family Family 组 成 ， 一 个 Column Family 由 任意 多 个 Column 组 成 


Column 列 ， 与 传统 的 数据 库 类 似 ，HBase 的 表 中 也 有 列 的 概念 ， 
列 用 于 表示 相同 类 型 的 数据 


RegionServer 数 据 存储 : RegionServer 主 要 负责 管理 由 HMaster 分 配 的 
Region，RegionServer 的 数据 存储 结构 如 图 10-10 所 示 。 


RegionServer 





图 10-10 ”RegionServer 的 数据 存储 结构 
Region 的 各 部 分 的 说 明 如 表 10-6 所 示 。 
表 10-6 Region 结构 说 明 


名 称 描述 
Store 一 个 Region 由 一 个 或 多 个 Store 组 成 ， 每 个 Store 对 应 图 10- 


10 中 的 一 个 Column Family 
MemStore 一 个 Store 包 含 一 个 MemStore，MemStore 绥 存 客户 端 问 


Region 插 入 的 数据 ， 当 RegionServer 中 的 MemStore 大 小 达 
到 配置 的 容量 上 限时 ，RegionServer 会 将 MemStore 中 的 数 
据 “flush” 到 HDFS 中 

StoreFile MemStore 的 数据 “flush” 到 HDFS 后 成 为 StoreFile， 随 着 数 
据 的 插入 ， 一 个 Store 会 产生 多 个 StoreFile， 当 StoreFile 的 个 
数 达 到 配置 的 最 大 值 时 ，RegionServer 会 将 多 个 StoreFile 合 
并 为 一 个 大 的 StoreFile 

HFile HFile 定 义 了 StoreFile 在 文件 系统 中 的 存储 格式 ， 它 是 当前 
HBase 系 统 中 StoreFile 的 具体 实现 

HLog HLog 日 志保 证 了 当 RegionServer 发 生 故 障 时 用 户 写 入 的 数 
据 不 丢失 ，RegionServer 的 多 个 Region 共 享 一 个 相同 的 
HLog 








元 数据 表 是 HBase 中 一 种 特殊 的 表 ， 用 来 帮助 Client 定 位 到 具体 的 
Region， 包 括 “.META.” 表 和 “-ROOT-” 表 。 


”~ “META.” 表 : 记录 用 户 表 的 Region 信 息 ， 例 如 Region 位 置 、 起 
人 Row Key 及 结束 Row Key 等 信息 。 


” “-ROOT-” 表 : 记录 “.META.” 表 的 Region 信 息 。“-ROOT-” 表 不 
会 分 裂 ， 因 此 只 有 一 个 Region 包 含 “ROOT-” 表 。 


元 数据 表 和 用 户 表 的 映射 关系 如 图 10-11 所 示 。 


用 户 表 1 





一 > 映射 关系 
斑 习 元 数据 表 
嘱 用 户 表 
图 10-11 ”元 数据 表 和 用 户 表 的 映射 关系 
数据 操作 流程 


HBase 数 据 操作 流程 如 图 10-12 所 示 。 
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图 10-12 HBase 数 据 操 作 流 程 


(1) 当 Hadoop 对 HBase 进 行 增 、 删 、 改 、 碍 数据 操作 时 ，HBase Client 
首先 连接 ZooKeeper 获 得 “ROOT-” 表 所 在 的 RegionServer 的 信息 。 


(2) HBase Client 连接 到 “ROOT-” 表 的 Region 所 在 的 RegionServer， 并 
获得 .META.” 表 的 Region 的 信息 。 





(3) HBase Client 连 接 到 包含 对 应 的 “.META.” 表 的 Region 所 在 的 
RegionServer， 并 获得 相应 的 用 户 表 的 Region 所 在 的 RegionServer 位 置信 
息 。 


(4) HBase ” Client 连接 到 对 应 的 用 户 表 Region 所 在 的 RegionServer， 并 
将 数据 操作 命令 发 送 给 该 RegionServer，RegionServer 接 收 并 执行 该 命 
令 ， 从 而 完成 本 次 数据 操作 。 


为 了 提升 数据 操作 的 效率 ，HBase Client 会 在 内 存 中 缓存 “- 
ROOT-”、“.META.” 和 用 户 表 Region 的 信息 ， 当 应 用 程序 发 起 下 一 次 数 

据 操 作 时 ，HBase ”Client 会 首先 从 内 存 中 获取 这 些 信息 ; 当 内 存 中 缓存 
0 言 息 与 系统 中 的 实际 信息 不 一 致 时 ，HBase ”Client 会 重复 上 述 操 





10.2.7 Hive 


Hive 是 一 个 基于 Hadoop 的 开源 的 数据 仓库 平台 ， 通 过 Hive， 可 以 方便 地 
进行 数据 提取 转化 加 载 (ETL) 的 工作 ， 提 供 类 似 SQL 的 HQL 语 言 ， 操 
作 结 构 化 数据 存储 服务 和 基本 的 数据 分 析 服 务 。HQL 能 够 将 用 户 编写 的 
SQL 转化 为 相应 的 MapReduce 程 序 。 当 然 ， 用 户 也 可 以 自 定 义 Mapper 和 
Reducer 来 完成 复杂 的 分 析 工 作 。 基 于 MapReduce 的 Hive 具 有 良好 的 扩展 
性 和 容错 性 。 不 过 由 于 MapReduce 缺 乏 结构 化 数据 分 析 中 有 价值 的 特 
性 ， 以 及 Hive 缺 乏 对 执行 计划 的 充分 优化 ， 导 致 Hive 在 很 多 场景 下 比 并 
行 数 据 仓库 慢 〈 在 几 十 台 机 器 的 小 规模 下 可 能 相差 更 大 ) 。 


Hive 主 要 特点 如 下 : 


” 海量 结构 化 数据 分 析 汇 总 ; 











>” 将 复杂 的 MapReduce 编 写 任务 简化 为 SQL 语句 ; 





> 灵活 的 数据 存储 格式 ， 支 持 JSON、CSV、TEXTFILE、 
RCFILE、SEQUENCEFILE 这 几 种 存储 格式 。 


为 保证 Hive 服 务 的 蜗 可 用 性 、 用 户 数 据 的 安全 及 访问 服务 的 可 控制 性 ， 


在 开源 社区 的 Hive-0.9.0 版 本 上 新 增 双 机 特性 和 安全 特性 。 


开源 社区 的 Hive 特 性 ， 请 参见 
https://cwiki.apache.org/confluence/display/Hive/DesignDocs。 


Hive 双 机 特性 采用 基于 双 机 设备 ， 即 基于 主 备 切 换 方式 的 服务 器 设备 来 
保证 Hive 服 务 的 高 可 用 性 。 在 同一 时 间 内 只 有 一 个 Hive Server 运 行 ， 当 
主 Hive Server 出 现 故障 无 法 继续 提供 服务 时 ， 备 Hive Server 会 被 激活 ， 
保证 业务 在 短 时 间 内 完全 恢复 正常 使 用 。 


通过 Zookeeper 的 Master Election 机 制 保证 总 有 一 个 Hive Server 正 常 运行 
并 提供 服务 。 主 备 两 个 HiveServer 以 Ephemeral 方 式 分 别 注册 到 Zookeeper 
中 ， 使 得 其 中 一 个 Hive Server 出 现 故障 时 ， 能 够 及 时 选举 并 恢复 服务 。 
同时 ，Zookeeper 中 存储 主 Hive Server 的 IP 地 址 。Hive 客 户 端 可 通过 
Zookeeper 获 取 主 Hive Server 的 IP 地 址 来 连接 Hive Server 以 获得 服务 。 


在 双 机 环境 下 ， 需 要 知道 Zookeeper 的 IP 地 址 和 端口 才能 获取 主 Hive 
Server 的 地 址 ， 在 安全 环境 下 ， 除 了 需要 Zookeeper 的 IP 地 址 和 端口 信息 
外 ， 还 需要 连接 Zookeeper 的 相关 认证 信息 。 

Hive 用 户 认 证 采用 的 是 基于 Kerberos 的 认证 。Kerberos 是 一 种 适用 于 在 
公共 网 络 上 进行 分 布 计算 的 工业 标准 的 安全 认证 系统 。 用 户 通 过 Hive 客 
户 端 和 Hive Server 建 立 连 接 时 ， 需 要 进行 双向 认证 。 当 用 户 是 Kerberos 
KDC 的 合法 用 户 时 ， 其 才能 够 通过 认证 ， 访 问 Hive 的 服务 。 认 证 方法 为 
用 户 使 用 用 户 名 (Principal) 及 Keytab 文 件 登 录 KDC， 登 录 成 功 ， 则 表 
示 认 证 通过 。 


Hive 使 用 user、group、role 对 权限 进行 管理 。 在 Hive 中 ， 进 行 数据 定 
义 、 加 载 和 查询 都 需要 相应 的 操作 权限 。 


Hive 作 为 强大 的 数据 仓库 和 数据 分 析 平 合 至 少 需要 具备 以 下 几 点 特性 : 
” 灵活 的 存储 引擎; 
” 局 效 的 执行 引擎 ; 
” 性 能 良好 的 索引 机 制 ; 














” 民 好 的 可 扩展 性 ; 
” 强大 的 容错 机 制 |; 
” 多 样 化 的 可 视 化 。 


先 看 看 Hive 是 否 完 全 具备 了 以 上 几 点 ， 以 及 与 传统 的 并 行 数据 仓库 对 比 
优 务 如 何 。 


存储 引擎 


Hive 没 有 目 己 专门 的 数据 存储 格式 ， 也 没有 为 数据 建立 索引 ， 用 户 可 以 
非常 目 由 地 组 织 Hive 中 的 表 ， 只 要 在 创建 表 时 告诉 Hive 数 据 中 的 列 分 隔 
符 和 行 分 隔 符 ，Hive 就 可 以 解析 数据 。Hive 的 元 数据 存储 在 RDBMS 

中 ， 所 有 数据 都 基于 HDFS 存 储 。Hive 包 含 Table、External Table、 

Partition 和 Bucket 等 数据 模型 。 


并 行 数据 仓库 需要 先 把 数据 装载 到 数据 库 中 ， 按 特定 的 格式 存储 ， 然 后 
才能 执行 查询。 每 天 需要 人 花费 儿 个 小 时 将 数据 导入 并 行 数 据 库 中 ， 而 且 
随 着 数据 量 的 增长 和 新 的 数据 源 加 入 ， 导 入 时 间 会 越 来 越 长 。 导 入 时 大 
量 的 写 W/O 与 用 户 但 询 的 读 I/O 产 生 苋 争 ， 会 寻 致 伍 询 的 性 能 很 差 。 


Hive 执 行 得 询 前 无 需 导 入 数据 ， 直 接 执行 计划 。Hive 文 持 默认 的 多 种 文 
件 格式 ， 同 时 可 以 通过 实现 MapReduce 的 InputFormat 或 OutputFormat 

类 ， 由 用 户 定 制 格式 。 因 为 公司 的 数据 种 类 很 多 ， 存 储 于 不 同 的 数据 源 
系统 ， 如 MySQL、HDFS 或 者 Hypertable 等 ， 很 多 时 候 Hive 的 分 析 过 程 
会 用 到 各 种 数据 源 的 数据 。 当 然 使 用 多 个 存储 数据 源 ， 除 了 功能 上 要 能 
够 文 持 导入 /导出 之 外 ， 如 何 根据 各 种 存储 源 的 能 力 和 执行 流 获 得 最 优 
执行 计划 也 是 一 件 麻 烦 的 事情 。 


执行 引擎 


MR 对 于 Map 和 Reduce job 间 的 数据 传输 处 理 方 式 具 有 潜在 的 性 能 问题 。 

假设 有 N 个 Map instance， 每 个 产生 M 个 输出 文件 ， 每 个 输出 文件 指 癌 不 
同 的 Reduce instance。 这 些 文件 会 被 写 到 执行 Map instance 节 点 的 本 地 磁 
盘 。 如 果 N 是 1000，M 是 500， 那 么 Map 阶 段 将 会 产生 500 ”000 个 本 地 文 
件 。 当 Reduce 阶 段 开 始 时 ，500 个 Reduce instance 中 每 个 都 需要 读 取 1000 
个 输入 文件 ， 同 时 必须 使 用 一 个 文件 传输 协议 从 每 个 Map ” instance 所 运 
































行 的 节点 处 拉 取 输入 文件 。 假 设 同 时 有 100 个 Reduce instance 并 行 执 行 ， 
不 可 避免 地 将 会 有 两 个 或 者 更 多 的 Reduce instance 同 时 在 同一 个 节点 上 
试图 读 取 文件 ， 这 就 会 产生 大 量 的 磁盘 seek 操 作 ， 从 而 降低 磁盘 传输 效 
率 。 这 也 是 为 什么 并 行 数 据 库 系 统 没 有 将 它们 的 中 间 数 据 保存 为 文件 ， 
并 且 采 用 了 一 种 推 模式 而 不 是 拉 模 式 进 行 数据 传输 的 原因 。 


并 行 数 据 仓库 使 用 优化 器 进行 性 能 优化 。 在 生成 执行 计划 时 ， 利 用 元 数 
据 信 息 估 算 执 行 流 上 各 个 算 子 要 处 理 的 数据 量 和 人 处理 开销 ， 进 而 选取 最 
优 的 执行 计划 。 并 行 数据 仓库 实现 了 各 种 执行 算 子 (Sort、GroupBy、 
Union 和 Filter 等 ) 。 优 化 器 可 以 灵活 地 选择 这 多 个 算 子 以 实现 不 同类 别 
的 性 能 优化 。 此 外 ， 并 行 数据 仓库 还 拥有 完备 的 索引 机 制 ， 包 括 人 磁盘 布 
局 、 绥 存 管 理 和 LO 管理 等 多 个 层面 的 优化 ， 这 些 都 对 得 询 性 能 至 关 重 
要 ， 而 这 恰恰 是 Hive 的 不 足 之 处 。 


Hive 的 编译 器 负责 编译 源 代码 并 生成 最 终 的 执行 计划 ， 包 括 语法 分 析 、 
语义 分 析 、 目 标 代 码 生 成 ， 所 做 的 优化 并 不 多 。Hive 基 于 MapReduce， 
Hive 的 Sort 和 GroupBy 都 依赖 MapReduce。 而 MapReduce 相 当 于 固化 了 执 
行 算 子 ，Map 的 MergeSort 必 须 执 行 ，GroupBy 算 子 也 只 有 一 种 模式 ， 
Reduce 的 Merge-Sort 也 必须 可 选 。 另 外 Hive 对 Join 算 子 的 文 持 也 较 少 。 
另外 ， 内 存 复 制 和 数据 预 处 理 也 会 影响 Hive 的 执行 效率 。 当 然 ， 数 据 预 
处 理 可 能 会 影响 数据 的 导入 效率 ， 这 需要 根据 应 用 特点 进行 权衡 。 


索引 机 制 


所 有 的 现代 DBMS 都 使 用 hash 或 者 B 树 索引 来 加 速 数据 访问 。 如 宁 东 人 
要 查找 一 个 记录 子 集 (比如 工资 大 于 100 000 美元 的 雇员 ) ， 那 么 使 用 
合适 的 索引 可 以 明显 缩小 查询 的 范围 。 大 部 分 数据 库 都 允许 单 个 表格 具 
有 多 个 索引 。 因 此 ， 碍 询 优化 右 可 以 决定 为 用 户 碍 询 使 用 哪个 索引 或 者 
古 简单 地 采用 一 个 暴力 的 顺 友 搜索。 


Hive 在 加 载 数据 的 过 程 中 不 会 对 数据 进行 任何 处 理 ， 甚 至 不 会 对 数据 进 
行 扫 摘 ， 因 此 也 没有 对 数据 中 的 菜 些 Key 建 并 索引 。Hive 要 访问 数据 中 
满足 条 件 的 特定 值 时 ， 需 要 暴力 扫描 整个 数据 ， 因 此 访问 延迟 较 高 。 由 
于 MapReduce 的 引入 ，Hive 可 以 并 行 访问 数据 ， 即 使 没有 索引 ， 对 于 大 
数据 量 的 访问 ，Hive 仍 然 可 以 体现 出 优势 。 由 于 数据 的 访问 延迟 较 高 ， 
决定 了 Hive 不 适合 在 线 数据 查询 。 


扩展 性 


























并 行 数据 仓库 可 以 很 好 地 扩展 到 几 十 或 上 百 个 节点 的 集群 ， 并 且 达 到 接 
近 线性 的 加 速 比 。 然 而 ， 今 天 的 大 数据 分 析 需 要 的 可 扩展 性 远 远 超过 这 
个 数量 ， 经 常 需要 达到 数 百 甚至 上 千 节 点 。 目 前 ， 几 乎 没有 哪个 并 行 数 
据 仓库 运行 在 这 么 大 规模 的 集群 上 ， 这 涉及 多 个 方面 的 原因 。 并 行 数据 
仓库 假设 底层 集群 节点 完全 同 构 ， 并 行 数据 仓库 认为 节点 故障 是 很 少 出 
现 的 ， 并行 数据 仓库 设计 和 实现 基于 的 数据 量 并 未 达到 PB 级 或 者 EB 

级 
与 并 行 数据 仓库 不 同 的 是 ，Hive 更 加 关注 水 平 扩展 性 。 简 单 来 讲 ， 水 平 
扩展 性 指 系统 可 以 通过 简单 地 增加 资源 来 支持 更 大 的 数据 量 和 负载 。 


Hive 处 理 的 数据 量 是 PB 级 的 ， 而 且 每 小 时 每 天 都 在 增长 ， 这 就 使 得 水 平 
扩展 性 成 为 一 个 非常 重要 的 指标 。Hadoop 系 统 的 水 平 扩展 性 是 非常 好 
的 ， 基 于 MapReduce 框 架 ，Hive 能 够 很 自然 地 利用 这 一 点 。 


容错 性 


Hive 具 有 较 好 的 容错 性 。Hive 的 执行 计划 在 MapReduce 框 架 上 以 作业 的 
方式 执行 ， 每 个 作业 的 中 间 结 果 文 件 写 到 本 地 磁盘 ， 最 终 输 出 文件 写 到 
HDFS 文 件 系 统 ， 利 用 HDFS 的 多 副本 机 制 来 保证 数据 的 可 徘 性 ， 从 而 达 
到 作业 的 容错 性 。 如 果 在 作业 执行 过 程 中 茶 节 点 出 现 故 障 ， 那 么 Hive 执 
行 计划 基本 不 会 受到 影响 。 因 此 ， 基 于 Hive 实 现 的 数据 仓库 可 以 部 署 在 
由 普通 机 器 构建 的 分 布 式 集群 之 上 。 


当 某 个 执行 计划 在 并 行 数据 仓库 上 运行 时 ， 若 某 节 点 发 生 故障 ， 则 必须 
重新 执行 该 计划 。 所 以 ， 当 集群 中 的 单 点 故障 《可 能 是 磁盘 故障 等 ) 发 
生 率 较 高 时 ， 并 行 数据 仓库 的 性 能 就 会 下 降 。 在 实际 生产 环境 中 ， 假 设 
每 个 节点 故障 发 生 率 是 0.01%， 那 么 1000 个 节点 的 集群 中 单 点 故障 发 生 
率 则 为 10%。 这 个 数字 并 非 千 人 听闻 ， 处 理 海量 数据 的 IO 密集 型 应 用 集 
群 ， 平 均 每 月 的 机 器 故障 率 达 到 1% 一 10%。 当 然 这 些 机 器 可 能 是 2 万 一 3 
万 元 的 普通 机 型 。 


可 视 化 


Hive 的 可 视 化 界面 基本 属于 字符 终端 ， 用 户 的 技术 水 平一 般 比 较 高 。 面 
加 不同 的 应 用 和 用 户 ， 提 供 个 性 化 的 可 视 化 展现 ， 是 Hive 改 进 的 一 个 重 
要 方向 。 个 性 化 的 可 视 化 也 可 以 理解 为 用 户 群 体 的 分 屋 ， 例 如 图 形 界面 
方式 提供 初级 用 户 ， 简 单 语言 方式 提供 中 级 用 户 ， 复 杂 程 序 方 式 提 供 高 



































级 用 户 。 
10.3 流 处 王 
10.3.1 流 处 理 的 应 用 场景 


对 大 数据 技术 不 熟悉 的 人 而 言 ， 流 处 理 技术 最 容易 让 人 联想 到 的 是 视频 
和 音频 这 种 流 媒体 实时 处 理 ， 比 如 视频 监控 ， 一 边 担 着 视频 ， 一 边 对 视 
频 内 容 做 实时 的 分 析 处 理 ， 比 如 在 城市 建设 里 ， 通 过 摄像 头 能 动态 查找 
犯罪 嫌疑 人 。 在 反 私 动作 片 里 ， 利 用 大 数据 分 析 技 术 自 动 定 位 、 低 找 出 
恐怖 分 子 。 很 遗憾 ， 目 前 大 数据 分 析 技 术 中 ， 流 处 理 技术 还 没有 这 人 么 先 
进 。 之 所 以 没有 达到 这 么 理想 的 效果 ， 也 不 都 是 大 数据 分 析 处 理 的 问 

题 ， 除 了 大 数据 分 析 处 理 还 不 够 强大 外 ， 配 套 设 施 也 不 是 很 先进 ， 比 如 
我 们 的 摄像 头 还 无 法 把 在 摄像 范围 内 的 人 脸 拍 得 那么 清晰 ， 特 别 是 现在 
筋 狗 比较 严重 的 情况 下 ， 摄 像 头 的 表现 并 没有 比 人 眼 出 色 多 少 。 模 糊 处 
理 技术 也 还 不 够 智能 ， 当 前 的 数据 分 析 最 多 能 把 活动 目标 进行 锁定 《而 
且 还 是 在 夜深人静、 干扰 很 少 的 情况 下 ) ， 并 判断 其 活动 轨迹 和 活跃 度 
(速度 ) ， 至 于 这 个 活动 目标 是 不 是 嫌疑 人 ， 还 得 求助 警察 通过 进一步 
的 工作 来 完成 。 

当前 的 流 处 理 技术 ， 更 多 地 侧重 于 结构 化 、 半 结构 化 的 文本 类 文件 ， 如 
日 志 类 文件 的 处 理 ， 其 特征 是 : 事件 驱动 、 实 时 处 理 数 据 和 完 计算 ， 不 
存储 或 后 存储 ) 、 军 秒 / 秒 级 〈 分 析 啊 应 速度 要 求 ) 、 实 时 监控 、 高 级 

事件 触发 、 立 即 事件 浅 加 工 。 


流 处 理 技术 能 解决 哪些 问题 呢 ? 下 面 举 几 个 例子 : 


























” 对 于 电信 运营 商 : 当前 网 络 质量 是 什么 状态 ?” 有 什么 异常 点 发 
生 ? 


” 对 于 券商 : 当前 是 否 可 以 买 入 或 者 卖 出 一 文 股 票 ? 


” 对 于 信用 卡 银行 ， 当 前 是 否 发 生 了 寞 常 、 欺 诈 交 易 ? 可 以 给 用 
户 提供 什么 推荐 服务 ? 


” 对 于 电 商 : 客户 正在 购物 ， 可 以 给 其 推荐 什么 商品 ? 


” 对 于 社交 媒体 ， 用 户 当 前 的 访问 模型 是 什么 ? 当前 热点 话题 是 
什么 ? 用 户 的 类 型 、 兴 趣 是 什么 ? 


> ”对 于 城市 道路 交通 系统 ， 当 前 各 道路 流量 、 车 速 情况 有 什么 异 
常 ， 需 要 采取 什么 措施 ? 


对 于 物流 企业 : 当前 货物 库存 、 周 转 、 运 输 状 态 是 什么 ?有 没 


~ 
有 异常 ? 





流 处 理 技术 利用 时 间 “ 窗 口 ” 概 念 来 让 “ 流 ” 中 的 数据 有 了 “边界 ”。 窗 口中 
的 数据 等 于 “数据 库 中 的 一 张 静 态 表 ”( 见 图 10-13〉。 





图 10-13 ”窗口 概念 


“窗口 ?又 可 分 为 跳动 窗口 和 滑动 窗口 ， 用 于 不 同 场景 的 分 析 处 理 〈 见 图 
10-14、 图 10-15) 。 





时 间 > 
跳动 窗口 (Jump window) 
图 10-14 ”跳动 窗口 
tl 3 t4 tS 
时 间 > 





滑动 窗口 (Slide window) 
图 10-15 “滑动 窗口 
例如 : 在 电信 业务 中 ， 其 可 以 利用 窗口 的 概念 来 进行 数据 流 分 析 。 电 信 
信 令 监控 的 某 业 务 是 否 是 恶意 呼叫 ， 需 寻找 在 连续 1 分 钟 内 发 起 大 于 5 次 
呼叫 的 手机 用 户 《“ 见 图 10-16) ， 语 句 如 下 : 


SELECT * FROM CallEvent.win:time (60 sec) GROUP BY strImsi 
HAVING count (*) >5 


在 流 处 理 中 ， 这 个 得 询 语句 是 持续 作用 的 ， 流 入 的 事件 满足 条 件 即 被 蚀 
发 持续 得 询 ， 这 一 特性 叫 “ 持 续 查 询 ”。 





连续 呼叫 次 数 : 4 


T1 时 刻 -二 -一 一 -一 -一 -一 一 一 | 一 
连续 呼叫 次 数 : 5 

a 二 一 一 一 二 一 一 一 一 一 一 
连续 呼叫 次 数 ，5 


T3H 和 十 二 一 一 一 于 一 一 + 一 一 十 一 


连续 呼叫 次 数 : 6 
T4 时 刻 四 mim 





图 10-16 ”恶意 呼叫 查询 


通过 查询 处 理 ， 分 析 并 发 现 数据 反映 出 的 关系 和 问题 ， 叫 “模式 发 现 ”， 
可 以 采用 以 下 分 析 方 式 “( 模 式 〉 发 现 ”( 见 图 10-17): 


” 跟随 模式 ，A 事 件 发 生 后 总 会 发 生 B 事 件 ; 

> 非 事件 ， 不 发 生 某 个 事件 ; 

> 周期 性 发 生 ，A 事 件 总 是 在 某 一 时 间 段 内 发 生 。 
匹配 一 个 用 户 名 se 


(2) 从 3 到 16 ee | 
/Ala—20—9 11316}%y 


| ] | G3) …… 字 母 、 数 字 、 百 分 数 


(1) 本 行 的 开始 ……… 


| 需要 正规 表达 式 





图 10-17 文本 搜索 中 的 正则 表达 式 
通过 以 上 的 文本 搜索 ， 获 得 以 下 分 析 结 果 ， 事 件 A 发 生 后 3 秒 内 B 或 C 跟 


随 发 生 ， 在 10 秒 时 间 内 D 不 会 发 生 ， 从 而 发 现 其 中 的 问题 〈 见 图 10- 
18) 。 


[10 SECONDS: [3 SECONDS: A, BlIC], !D] 


图 10-18 ”异常 发 现 





目前 流 处 理 技术 主要 有 两 种 : CEP 〈Complex Event Processing) 用 于 复 
杂事 件 处 理 ，Stream Processing 用 于 流 处 理 。 两 种 技术 的 对 比如 网 10-19 
所 示 。 


可 扩展 可 靠 


站 结构 化 
有 一 一 分 布 式 事件 流 处 理 
SEP 


多 事件 流 
联合 操作 





支持 时 间 窗 复杂 计算 
逻辑 /模式 














图 10-19 ” 流 处 理 技术 对 比 
CEP 技 术 双 分 为 基于 查询 和 基于 规则 两 种 框架 。 基 于 查询 (Query- 
Based) 的 CEP 技 术 适 用 于 高 速 数据 流 分 析 ， 基 于 规则 的 CEP 技 术 则 
是 “条 件 一 规则 一 行动 ”的 模式 。 


基于 查询 (Query-Based) 的 CEP 技 术 框 架 如 图 10-20 所 示 。 











| 统一 配置 管理 接口 | 





TimerServicelmpl S F ot 
EventAdapterS 处 理 任务 管理 EPAdministratorHelper 
cvriccImpl 数据 流 创 建 ParseHelper 


规则 解析 
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事件 流 化 
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图 10-20 ”基于 查询 的 CEP 技 术 框架 


代码 样 例如 图 10-21 所 示 。 













select sum(price) from StockTickEvent(Symbol='GR 





win:length(5) J 





图 10-21 代码 样 例 

基于 查询 (Query-Based) 的 CEP 技 术 基 本 特征 : 

” 文 持 基于 类 SQL 查 询 语言 ; 

” Antlr 解 析 查 询 语句 ; 

” 根据 解析 结果 生成 数据 结构 ; 

” 计算 事件 是 否 满足 触发 条 件 ; 

” 可 以 支持 较 高 数据 量 。 
基于 查询 (Query-Based) 的 CEP 技 术 适 用 场景 : 


” 数据 量 非 巨 量 ， 使 用 单 节 点 可 以 满足 需求 ; 
” 较 复 杂 类 SQL 业务 ， 如 KPI 统计 、 定 时 输出 结果 、 多 流 Join 处 理 


人 
于 


基于 规则 (Rule-based〉 的 CEP 拉 术 基 本 特征 是 :实时 决策 支持 、 数 据 
否 吐 量 不 大 、 基 于 “条 件 一 规则 一 行动 ”和 常用 于 BPM， 以 及 可 作为 规则 
引擎 、 决 策 引 苟 。 其 拉 术 框架 如 图 10-22 所 示 。 





混合 事件 处 理 引 车 


规则 引擎 








业务 服务 
图 10-22 ”基于 规则 的 CEP 技 术 框架 


CEP 拉 术 发 展 有 十 几 年 的 历史 ， 近 年 借助 大 数据 有 升温 趋势 ， 特 别 是 在 
金融 证 券 、 网 络 安全 、 物 流 、 交 通 、 物 联网 领域 应 用 。CEP 技 术 分 类 有 
Query-Based、Rule-Based、State-Based 等 ， 主 流 是 Query-Based， 也 称 为 
ESP (Event Stream Processing) 。CEP 在 尝试 标准 化 流 、 窗 口 、 关 系 等 





概念 已 写 入 SQL99 规 范 ，CQL (Continuous Query Language) 将 成 为 未 
来 标准 。 但 CEP 未 发 展 成 SQL 一 样 严 襄 、 完 备 的 理论 体系 ， 各 家 实现 标 
准 不 一 ， 开 放 性 差 。 对 于 复杂 业务 ， 基 于 CEP 进 行 开发 很 困难 。 而 且 
CPE 的 Scale-out 扩 展 能 力也 很 受 限制 。 











最 近 兴 起 的 流 处 理 技 术 新 动身， 是 基于 Hadoop 的 MapReduce 框 架 进 行 流 
处 理 技术 改进 ， 主 要 包括 : HOP (Hadoop Online Prototype) 、 
Hstreaming、 基 于 Spark 的 Spark Streaming 这 几 个 分 支 。 


Hop 是 Berkeley 大 学 、Yahoo 合 作 改 进 Hadoop 的 开源 项 目 ，Hop 改 造 了 
Map 和 Reduce 之 间 的 Shuffer、Pipeline 架 构 〈Push 模 型 ) ， 采 用 管道 通 
信 ， 文 持 实时 类 业务 (如 持续 计算 、 在 线 聚 合 ) ， 并 兼容 Hadoop 
API《〈 见 图 10-23) 。 


HDFS HDFS 


推送 推送 






Local Memory Local Memory 
(文件 系统 ) (缓存 + 文件 系统 ) 


推送 推送 
(同步 ) (同步 ) 
HDFS HDFS 
批量 数据 流 (MapReduce 在 线 数 据 流 (MapReduce 
Batch Dataflow) Online Dataflow) 


图 10-23 ”基于 Hadoop 流 处 理 模型 


HStreaming 基 于 Hadoop 实 现 ， 采 用 HTTP/TCP 通 信 ， 数 据 不 落地 ， 提 供 
类 似 Pig 的 脚本 语言 提供 流 处 理 能 力 ， 包 括 流 、 窗 口 、 聚 合 操作 ( 见 图 
10-24、 图 10-25) 。 


Spark Streaming 是 基于 Spark 实 现 的 流 处 理 ， 实 现 秒 级 延 人 运 ， 文 持 流 、 窗 
口 、 各 种 聚合 操作 。Spark 是 一 种 内 存 集群 计算 框架 (In-memory Cluster 
Computing Framework)， 用 于 应 用 系统 复 用 数据 。Spark 适 合 迭 代 计 算 





> ， 是 一 款 “ 基 于 内 存 ” 的 Hadoop 技 术 ( 见 图 10-26、 图 10- 
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图 10-25 ”HStreaming 框 架 
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图 10-27 Spark 框架 


基于 Hadoop 实 现 的 各 种 流 处 理 技 术 都 是 Pipeline 方 式 的 分 布 式 处 理 框 
架 ， 在 Hadoop 经 典 的 MR 模 型 下 ， 修 改 任 务 调度 、 数 据 存储 发 送 方式 ， 





将 MR 的 大 批 次 改 小 ， 小 到 分 钟 级 、 秒 级 ， 这 些 技术 部 分 兼容 Hadoop 
0 作为 Hadoop 的 补充 ， 同 时 借助 Hadoop 生 态 系统 ， 取 得 了 一 席 之 
地 。 


10.3.5 分布 于 和 流 处 理 技 术 


在 分 布 式 事件 流 处 理 技术 领域 ， 主 要 是 S4 (Simple Scalable Streaming 

System) 和 Storm 两 种 流 处 理 技 术 。S4 是 Yahoo 发 起 主导 的 Apache 旷 化 项 

目 ， 具 有 基于 通用 人 硬件、 分布 式 、 容 错 、 可 通 入 软件 平台 的 特点 ， 开 发 

以 很 容易 地 开发 应 用 来 处 理 分 析 连 续 的 流 数据 内 容 〈 见 图 10-28、 
10-29) 。 


S4 框 架 模型 的 特性 包括 事件 驱动 (Event-Driven) 、Actor 模 型 、DAG 图 
的 事件 拓扑 、 用 户 自 定义 拓扑 和 处 理 逻 辑 、 全 分 布 式 架构 、 对 等 结构 ， 
每 个 PN 上 有 完整 PE 拓扑 、 文 持 采 用 Yam 部 署 、 文 持 Fail-over、 


Checkpoint 等 。 


Storm 是 由 Twitter 主导 开发 的 分 布 式 实时 计算 系统 ， 目 前 拥护 者 众多 ， 
版 本 演进 迅速 〈 见 图 10-30) 。 








-个 无 密 钥 事件 (EV) 抵 达 PE1， 事 件 有 如 下 引用 (Quote): 
“I meant what I said and I said what I meant.” Dr.Seuss 
cp QuoteSplitterPE(PE1) 为 引用 (Quote) 
中 的 每 个 独立 单词 计数 ， 并 为 每 个 
单词 发 布 事件 


EV 
.A KEY 
.- 


WordCountPE(PE2-4) 为 所 
有 引用 的 每 个 独立 单词 保 
持 计 数 ， 并 在 计数 更 新 时 ， 
发 布 一 个 事件 














Pa 





SortPE(PE5-7) 持 续 为 部 分 
列表 分 类 ， 并 按 周期 性 间 
陋 发 布 清单 
EV 区 MergePE(PE8) 组 合 部 分 TopK 
KEY 人 列表 ， 并 输出 最 终 TopK 列 表 
VAL 


图 10-28”S4 流 处 理 流程 
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Comm.layer 


图 10-29”S4 流 处 理 框 架 


Stream 


以 Tuple 为 基本 单位 组 成 的 、 轩 开国 末 本 本 到 到 
============$》 


一 条 有 问 无 界 的 数据 流 


Topology 
由 计算 节点 和 流动 的 
Tuple 组 成 的 拓扑 结 构 














图 10-30 ”Storm 流 处 理 框 架 





supervisor 





supervisor 
CE zookeeper 


supervisor 


Task 








图 10-30 ”Storm 流 处 理 框架 ( 续 ) 


Storm 具 有 分 布 式 处 理 杠 及， 有 中 心 管理 节点 ， 采 用 多 种 形式 的 事件 路 
由 分 发 机 制 ， 由 事件 驱动 (Event-Driven ) ， 具 有 DAG 图 形式 
Topology， 并 文 持 事件 处 理 的 可 靠 性 。 


分 布 式 事件 流 处 理 技术 是 真正 的 事件 驱动 (Event-driven〉 实时 系统 ， 

分 布 式 流 处 理 引 擎 相当 于 Hadoop 的 MapReduce， 可 基于 它 实现 上 层 的 查 
询 引 擎 、 规 则 引擎 、 流 挖掘 等 衍生 的 生态 系统 ， 有 着 巨大 的 想象 空间 。 
此 外 ， 各 类 相似 类 型 的 项 目 不 断 涌现 ， 如 Facebook Puma、 Twitter 
Rainbird、LinkedIn Kafka、 百 度 的 Dstream， 阿 里 巴巴 的 Galaxy、 
iProcess、SuperMario 等 。 


10.4 大 数据 在 金融 领域 的 探索 与 实 
三 


大 数据 在 信息 时 代 占 据 很 高 的 地 位 ， 分 析 大 数据 对 于 众多 行业 都 具有 很 
重要 的 战略 意义 。 大 数据 技术 的 主要 任务 是 从 内 部 和 外 部 数据 源 中 快速 
地 发 现 商 业 机 会 并 挖掘 其 价值 ， 还 对 这 些 数据 进行 高 效 快 捷 的 评估 ， 最 
终 提供 决 集 文 撑 。 大 数据 有 利于 从 各 类 数据 中 快速 获得 信息 ， 物 联网 的 
快速 发 展 也 为 大 数据 提供 了 广泛 的 数据 来 源 。 智 能 手机 的 普及 使 数据 量 




















呈 指 数 级 增长 。 廉 价 的 存储 和 高 速 的 融 宽 也 为 大 数据 的 诞生 提供 了 必 备 
条 件 。 云 计算 为 大 数据 的 诞生 提供 了 物质 基础 。 目 前 ， 数 据 量 的 增长 在 
大 数据 应 用 中 处 于 主导 性 的 地 位 ， 从 TB 级 升 全 PB 级 ， 并 且 仍 在 持续 爆 
炸 式 增 长 ， 其 增长 速度 远 超 摩尔 定律 增长 速度 。 大 数据 的 分 析 需 求 由 抽 
样 分 析 转 癌 全 量 分 析 ， 成 为 企业 发 展 必 不 可 少 的 文 撑 点 。 由 于 数据 量 不 
断 迅 速 增加 ， 数 据 规模 也 随 之 增 大 ， 导 致 成 本 上 升 。 从 成 本 角度 考虑 ， 
大 数据 的 硬件 平台 由 专用 硬件 服务 器 转 回 标 准 开放 人 硬件 构成 的 大 规模 机 
群 平台 。 大 数据 过 布 在 许多 领域 ， 物 联网 、 云 计算 、 移 动 互 联网 、 车 联 
网 、 手 机 以 及 各 式 传 感 器 ， 无 一 个 是 数据 来 源 或 者 承载 的 方式 。 全 球 对 
0 
资源 。 


大 数据 之 于 金融 ， 其 根本 驱动 是 降低 资本 融通 的 成 本 、 提 高 资金 服务 的 
效率 〈 见 图 10-31) 。 














金融 大 数据 处 理 平台 


金融 客户 


自动 化 处 理 





传统 贷款 处 理 模式 基于 大 数据 的 贷款 处 理 模式 





图 10-31 大 数据 在 金融 行业 


千村 会 





由 于 金融 服务 的 业务 转型 的 影响 ， 银 行业 服务 及 管理 模式 都 将 发 生根 本 
性 的 改变 。 统 计 显 示 ， 以 ATM、 网 上 银行 、 手 机 银行 为 代表 的 电子 银 

行 在 我 国 当前 已 经 逐渐 成 为 重要 交易 渠道 ， 对 传统 银行 渠道 的 符 代 率 超 
过 了 60%。 特 别 是 互联 网 金融 可 能 会 对 银行 的 观念 和 经 营 模式 加 以 颠 

履 ， 银 行业 应 如 何 主动 变 草 、 变 挑战 为 机 遇 是 一 个 值得 探讨 和 深刻 思考 
的 问题 。 银 行 是 经 营 信用 的 企业 ， 数 据 的 力量 尤为 关键 和 重要 。 在 “大 
数据 ”时 代 ， 以 互联 网 为 代表 的 现代 信息 科技 ， 特 别 是 门户 网 站 、 社 区 
论坛 、 微 博 、 微 信 等 新 型 传播 方式 的 医 动 发 展 ， 移 动 支付 、 搜 索引 擎 和 











云 计算 的 广泛 应 用 ， 构 建 起 了 全 新 的 数字 化 客户 信息 体系 ， 并 将 改变 现 
代金 融 运 营 模 式 。 数 据 海量 化 、 多 样 化 、 传 输 快 速 化 和 价值 化 等 特征 ， 
将 给 商业 银行 市 场 竞 争 带 来 全 新 的 挑战 和 机 会 。 


中 国 银行 业 现 阶段 的 大 数据 应 用 需求 大 致 可 以 分 为 以 下 四 类 。 





” 客户 分 析 : 基于 各 种 数据 源 的 客户 数据 和 客户 行为 数据 分 析 ， 
用 于 客户 分 类、 客户 差异 化 服务 、 客 户 推 荐 系统 、 客 户 流失 项 测 


” 风险 分 析 :; 基于 银行 区 易 和 客户 交互 数据 进行 建 模 ， 借 助 大 数 
据 平 台 快 速 分 析 和 预测 在 此 发 生 或 者 新 的 市 场 风 险 、 操 作风 险 等 。 


” 运营 分 析 :; 基于 企业 内 外 部 运营 、 管 理 和 交互 数据 分 析 ， 借 助 
大 数据 平台 ， 三 百 六 十 度 统计 和 预测 企业 经 营 和 管理 绩效 。 








” 行业 监管 ， 基于 企业 内 外 部 交易 和 历史 数据 ， 实 时 或 准 实时 预 
测 和 分 析 欺 诈 、 洗 钱 等 非法 行为 ， 巡 从 法 规 和 监管 要 求 。 





10.4.2 
大 数据 的 高 速 发 展 ， 使 银行 业 的 客户 数据 、 区 易 数 据 、 管 理 数 据 等 均 呈 











现 爆 炸 式 增长 ， 海 量 数据 席卷 而 来 ， 机 遇 和 挑 成 也 随 之 而 来 ， 为 银行 创 
造 变 革 性 价值 创造 了 条 件 ， 银 行业 服务 及 管理 模式 都 将 发 生根 本 性 改 

0 
( 见 图 10-32) 。 


互联 网 数据 用 户 数 据 
浏览 信息 、 搜 索 信息 es 


SNS 信 息 地 理 位 置信 息 用 户 事件 









银行 数据 
银行 交易 数据 
户 金融 信息 、 电 话 录 音 


jE 
业务 营销 客户 风险 管理 和 合 规 
个 人 贷款 实时 营销 更 快 的 营销 活动 360 客 户 视图 反 斯 诈 、 反 洗钱 
小 额 贷款 事件 式 营销 全 渠道 营销 客户 定价 、 客 户 分 类 多 点 检测 


图 10-32 中国 银行 业 的 大 数据 应 用 场景 























机 遇 
大 数据 时 代 的 银行 业 发 展 面临 以 下 机 遇 。 
(1) 业务 发 展 空间 


我 国 商业 银行 所 提供 的 业务 服务 和 产品 都 具有 很 强 的 同 质 性 ， 但 是 竞争 
关系 要 求 银行 实施 差异 化 战略 。 互 联网 的 兴起 使 得 社交 媒体 成 为 银行 新 
的 接触 客户 渠道 ， 银 行 可 以 从 各 个 网 点 、PC、 移 动 终端 、 传 感 器 网 络 

等 端口 收 到 结构 化 、 非 结构 化 的 海量 数据 ， 可 深入 挖掘 客户 ， 强 化 交叉 
销售 ， 同 时 加 快 产品 的 创新 空间 。 

(2) 决策 判断 能 

在 信息 时 代 ， 人 类 社会 面临 的 中 心 问题 将 从 如 何 提高 生产 率 转 变 为 如 何 
更 好 地 利用 信息 来 辅助 决策 。 对 于 银行 而 言 ，“ 大 数据 ”将 使 银行 决策 

从 “经 验 依 赖 * 向 “数据 依据 ”转化 ， 将 在 深入 了 解 和 把 握 银 行 自身 力 至 市 


场 状况 的 基础 上 ， 更 加 科学 地 评价 经 营业 绩 、 评 估 业 务 风险 、 配 置 全 行 
资源 ， 引 导 银 行业 务 科 学 健康 发 展 。 


(3) 经 营 管 理 能 力 

















大 数据 将 掀起 银行 业 的 精细 化 管理 昔 合 和 竞争 。 关 于 资产 、 负 债 、 客 

户 、 交 易 对 手 及 业务 过 程 中 产生 的 各 种 数据 资产 ， 在 风险 控制 、 成 本 核 
算 、 资 本 管理 、 绩 效 考核 等 方面 发 挥 着 重要 作用 ， 充 分 利用 数据 分 析 技 
术 将 是 银行 制胜 的 关键 。“ 数 据 一 信息 一 商业 智能 ”将 逐步 成 为 银行 定量 
化 、 精 细 化 管理 的 发 展 路 线 ， 为 有 效 提 升 服务 能 力 提供 强大 文 撑 。 


挑战 
大 数据 时 代 的 银行 发 展 面临 以 下 挑战 。 
(1) 数据 区 驭 能 


“大 数据 ”时代 首先 对 银行 的 数据 驾驭 能 力 提 出 了 全 新 的 挑战 。 在 数据 收 
集 方面 ， 银 行 不 仅 要 收集 来 自 网 点 、 信 贷 等 传统 渠道 的 结构 化 数据 ， 还 
要 收集 来 自 物 联网 、 互 联网 、 机 构 系统 的 各 类 非 结构 化 数据 ， 甚 至 还 要 
与 历史 数据 对 照 ， 非 结构 化 数据 收集 模式 将 彻 乓 磊 履 银行 数据 收集 理 
念 。 在 数据 存储 方面 ， 要 达到 低 成 本 、 低 能 耗 、 高 可 靠 性 目标 ， 通 闻 要 
用 到 元 余 配 置 、 分 布 化 和 云 计算 技术 ， 这 正 是 银行 所 从 缺 的 。 在 数据 处 
理 方面 ， 有 的 数据 涉及 上 百 个 参数 ， 难 以 用 传统 的 方法 描述 与 度量 ， 处 
理 的 复杂 度 相 当 大 ， 如 客服 录音 数据 等 。 利 用 “大 数据 ”的 能 力 将 成 为 决 
定 银行 竞争 力 的 关键 因素 。 


(2) 生存 发 展 能 


银行 的 生存 发 展 能 力 受到 挑战 。 大 量 的 数据 来 源 和 强大 的 数据 分 析 工 具 
正 催 生出 很 多 新 的 金融 业态 来 直接 瓜分 银行 的 信贷 市 场 。 与 传统 银行 相 
比 ， 互 联网 金融 在 信息 收集 、 信 息 处 理 、 产 品 交 付 以 及 风险 防范 等 方面 
都 有 优势 ， 其 提供 的 金融 服务 已 经 从 简单 支付 渗透 到 了 转账 汇款 、 小 额 
信贷 、 现 金管 理 、 资 产 管 理 、 供 应 链 金融 、 基 金 和 保险 代销 等 银行 核心 
业务 领域 。 


(3) 商业 运营 模式 


随 着 数据 化 和 网 络 化 的 全 面 深入 发 展 ， 金 融 服 务虚 拟 化 将 成 为 大 势 所 

趋 。 一 是 产品 虚拟 化 ， 金 融 IC 卡 的 推广 应 用 正在 逐步 提升 银行 的 电子 化 
发 展 进 度 ， 银 行 资 金 将 越 来 越 多 地 呈现 为 各 类 数据 信号 的 交换 ， 电 子 货 
币 将 与 实物 货币 并 驾 齐 驱 。 二 是 服务 虚拟 化 ,“ 善 融 商 务 ”" “区 博 汇 ”以 
及 网 络 金融 商城 等 银行 电子 商务 平台 不 断 发 展 ， 鼠 标 银 行 、 电 子 银行 成 
































为 未 来 趋势 。 三 是 管理 虚拟 化 ， 银 行业 务 中 的 各 种 单据 、 和 凭证 等 将 以 数 

字 文 件 的 形式 出 现 ， 网 络 成 为 重要 的 管理 通 直 ， 电 子 化 、 数 据 化 的 管理 

模式 更 加 方便 快捷 。 传 统 的 商业 银行 运营 模式 将 逐渐 消融 在 数据 化 的 洪 

WE 
和 唯一 选择 。 


10.4.3 数据 在 银行 业 的 发 势 


目前 ， 大 数据 相关 的 技术 和 工具 非常 多 ， 给 企业 提供 了 更 多 的 选择 。 在 
未 来 ， 其 还 会 继续 出 现 新 的 技术 和 工具 ， 如 Hadoop、 下 一 代数 据 仓 库 
等 ， 这 也 是 大 数据 领域 的 创新 热点 。 企 业 越 来 越 希 望 能 将 自己 的 各 类 应 
用 程序 及 基础 设施 转移 到 云 平台 上 。 就 像 其 他 IT 系统 那样 ， 大 数据 的 分 
析 工 具 和 数据 库 也 将 走向 云 计算 。 首 先 云 计算 为 大 数据 提供 了 可 以 弹性 
扩展 、 相 对 便宜 的 存储 空间 和 计算 资源 ， 使 得 中 小 企业 可 以 像 跨国 大 企 
业 一 样 通过 云 计 算 来 完成 大 数据 分 析 。 其 次 ， 云 计算 IT 资源 庞大 、 分 布 
较为 广泛 ， 是 异 构 系 统 较 多 的 企业 及 时 准确 处 理 数 据 的 有 力 方式 ， 甚 至 
古 唯一 的 方式 。 随 着 数据 分 析 集 的 扩大 ， 以 前 部 门 层级 的 数据 集 市 将 不 
能 满足 大 数据 分 析 的 需求 ， 它 们 将 成 为 企业 级 数据 库 的 一 个 子 集 。 


对 于 银行 业 来 说 ,，“ 大 数据 ”革命 必 将 颠覆 银行 传统 观念 和 经 营 模 式 。 要 
强化 “数据 治 行 ” 理 念 ， 建 并 分 析 数 据 的 习惯 ,重视 “大 数据 ”开发 利用 ， 

提升 全 行 的 质量 管理 、 数 据 管 理 。 同 时 ， 其 要 营造 “数据 治 行 ” 文 化 ， 倡 
导 用 数据 说 话 ， 准 确 描述 事实 ， 反 映 逻 辑 理 性 ， 将 现 有 数据 转化 为 信息 
资源 ， 为 高 层 管理 和 决策 提供 强 有 力 的 依据 ， 让 决策 更 加 针对 目标 ， 让 
发 展 更 加 贴近 真实 市 场 。 其 着 眼 于 “大 数据 ?挖掘 和 分 析 ， 对 海量 数据 的 
持续 实时 处 理 ， 建 设 数据 仓库 项 目 ， 为 服务 质量 改善 、 经 营 效率 提升 、 
服务 模式 创新 提供 文 撑 ， 全 面 提 升 运营 管理 水 平 。 在 项 目 建 设 中 ， 其 通 
过 梳理 、 整 合 经 营 管理 关键 数据 ， 建 立 数据 管控 体系 ， 搭 建 基础 数据 平 
台 。 通 过 数据 仓库 建设 ， 运 用 数据 挖掘 和 分 析 ， 全 方位 调整 管理 模式 、 
产品 结构 、 营 销 模式 、 信 息 战 略 ， 从 根本 上 提高 风险 管理 、 成 本 疆 效 管 
理 、 资 产 负 债 管理 和 客户 关系 管理 水 平 ， 实 现 多 系统 数据 的 业务 逻辑 整 
合 ， 形 成 全 行 级 客户 、 产 品 、 协 议 等 主题 数据 。 其 积极 推动 传统 业务 渠 
道 与 移动 通信 、 云 计算 等 新 兴业 态 纵向 整合 、 横 向 渗透 ， 促 进 信息 集 

中 、 整 合 、 共 享 、 挖 据 。 一 方面 ， 要 “走出 去 ”， 与 移动 网 络 、 电 子 商 

务 、 社 区 网 络 等 “大 数据 平台 ”完美 融合 ， 开 展 “ 大 数据 ”分 析 ， 为 客户 提 
供 开放 服务 平台 。 男 一 方面 ， 要 “请 进来 "， 与 数据 分 析 专 业 厂 商 合作 ， 

对 数据 存量 进行 综合 处 理 与 分 析 。 建 立 完善 内 容 涵盖 全 面 、 功 能 丰富 齐 






































全 ， 集 网 上 贸易 服务 、 网 上 保 理 、 电 子 商业 汇票 、 票 据 池 、 应 收 账 和 天池 
融资 、 在 线 融资 等 为 一 体 的 综合 供应 链 金融 服务 体系 ， 为 客户 提供 触手 
可 及 的 全 方位 贴 映 服务 。 





问题 和 需求 





随 着 互联 网 金融 的 快速 兴起 ， 银 行业 务 竞争 激烈 ，A 金 融 机 构 急需 以 金 
融 大 数据 查询 、 分 析 、 挖 掘 为 基础 ， 进 行 产 品 创新 、 预 测 和 风险 评估 ， 
改善 服务 质量 ， 提 升 竞争 力 。 但 A 人 金融 机 构 的 IT 数据 处 理 平 台 架 构 还 是 
以 传统 数据 库 与 数据 仓库 为 主 的 模式 〈 见 图 10-33) 。 





在 线 实时 查询 离线 人 工 查询 
ee eel 2 
目 三 决策 分 析 
传统 数据 库 加 从 
二 外 村 模型 即席 查 诊 人 
分 析 模 型 全 癌 市 场 分 析 
时时 多 维 分 析 To 
人 传统 数据 仓库 /数据 集 市 运 维 分 析 
NAS 存 储 传统 数据 仓库 /数据 集 市 运 维 分 析 








图 10-33 ”以 传统 数据 库 与 数据 仓库 为 主 的 银行 数据 处 理 平台 


传统 面向 结构 化 数据 的 数据 平台 已 经 无 法 满足 大 数据 数量 、 种 类 的 快速 
人 
i 


> 系统 无 法 支撑 在 线 查 询 5 年 历史 明细 : 业务 需要 在 线 查 询 5 年 
15TB 的 交易 历史 明细 ， 但 现状 是 容量 受 限 ， 数 据 库 仅 能 在 线 查 询 1 
年 3TB 的 交易 历史 明细 ，1 年 以 上 历史 明细 需要 数据 仓库 离线 人 工 
查询 ， 客 户 等 待 时 间 长 。 


























” 系统 无 法 文 撑 全 量 多 维 客户 行为 分 析 : 业务 需要 全 量 多 维度 分 
析 ， 改 进 分 析 机 制 ， 提 高 分 析 结 果 转 化 率 ， 但 现状 是 受 限 于 处 理 能 


力 制约 ，ETL 抽 取 到 传统 数据 库 的 数据 维度 较 少 ， 且 现 有 SAS 分 析 
工具 采用 专家 经 验 机 制 ， 导 致 分 析 结 果 转 化 率 低 。 


” 系统 无 法 文 撑 实时 征 信 : 征 信 数据 分 散在 业务 数据 库 、 数 据 仓 
库 ， 信 用 卡 开 户 、 透 文 服务 征 信 数 据 需 要 分 时 分 散 得 询 ， 且 流程 人 
工 干 预 多 ， 导 致 业务 办 理 需 要 3 周 左右 ， 无 法 实现 实时 征 信 数据 但 
询 客户 满意 度 低 。 


” 数据 库 问 题 ， 原 有 数据 系统 仪 适合 实时 交易 类 业务 ， 不 适合 分 
1 0 
所 。 


” 数据 仓库 问题 ， 原 有 数据 仓库 系统 仅 适合 结构 化 数据 分 析 类 业 
务 ， 非 结构 化 数据 需 前 并 ETL 工 具 抽 取 ， 转 换 成 结构 化 数据 存储 ， 

但 数据 维度 减少 ， 无 法 线性 扩展 ， 数 据 量 大 处 理 缓慢 ， 银 行 一 般 多 
业务 分 时 复 用 使 用 ， 无 法 多 业务 并 发 使 用 。 


基于 以 上 诸多 挑战 和 问题 ，A 人 金融 机 构 寻 求 采 用 大 数据 技术 来 完善 金融 
数据 处 理解 决 方案 ， 来 应 对 日 蔓 突出 的 业务 问题 。 在 大 数据 解决 方案 选 
择 上 ，A 人 金融 机 构 对 大 数据 平台 有 三 个 核心 的 要 求 。 














” 安全 性 : 满足 金融 等 要 求 ; 
” 可 靠 性 : 所 有 组 件 文 持 HA， 文 持 容 灾 ; 
” 易 用 性 : 与 应 用 无 缝 衔接， 适合 现 有 编程 习惯 。 
架构 方案 及 优点 
A 金融 机 构 对 多 家 知名 IT 厂 商 的 大 数据 解决 方案 进行 了 详细 的 考察 和 测 


试验 证 ， 搭 建 了 一 个 全 新 的 金融 大 数据 处 理 平 台 ， 其 架构 如 图 10-34 所 
外。 











统一 历史 明细 


ge 第 一 数据 平面 : 一 一 
fem 交易 核心 人 
电话 归 生 单 次 、 事 务 性 区 艺 禾 注 遇 数据 业务 : 
网 上 银行 在 线 征 信 实时 在 线性 
业务 持续 性 
第 二 数据 平面 ， 和 名 请 罗 。 路 乡 元 数据 
大 数据 平台 或 有 人 金融 资产 
碧 联 网 批量 并 发 、 查 询 / 分 析 


金融 脉络 关系 





图 10-34 ”A 金融 机 构 全 新 的 金融 数据 架构 


在 这 个 架构 中 ，A 人 金融 机 构 将 数据 分 为 第 一 数据 平面 和 第 二 数据 平面 。 

第 一 数据 平面 主要 基于 原 有 的 金融 IT 平台 ， 以 交易 为 核心 ， 文 撑 传 统 的 
金融 数据 处 理 与 分 析 业 务 。 第 二 数据 平面 则 是 以 大 数据 平台 为 核心 的 新 
建 数 据 平 面 ， 主 要 处 理 金融 数据 分 析 业 务 ， 实 现 诺 如 社交 情绪 指数 、 或 
有 金融 资产 、 金 融 脉 络 关系 、 在 线 征 信 、 精 准 推荐 、 在 线 历史 明细 等 业 
Si 

掌 。 


该 架构 除了 实现 基于 Hadoop 的 基础 大 数据 分 析 能 力 外 ， 还 实现 了 A 金融 
机 构 所 需 的 安全 、 可 靠 、 易 用 三 大 特性 。 

















”局 安全 性 :业界 第 一 家 文 持 金融 等 级 保护 、 第 一 家 文 持 RBAC 
用 户 组 权限 管理 和 消除 HDFS 明 文 存放 隐患 的 大 数据 平台 。 





> 高 可 靠 性 ， 大 数据 平台 全 组 件 支持 HA， 业 界 第 一 个 通过 
1000+KM 蜡 地 容 灾 验 证 的 厂家 。 





” 易 用 性 : 丰富 的 行业 全 量 建 模 和 二 次 开发 能 力 ， 让 大 数据 与 客 
户 应 用 无 颖 衔接 ， 全 自动 化 在 线 运 维 、 自 动 化 的 应 用 开发 助手 ， 轻 
松 管理 大 数据 系统 。 


在 线 历史 明细 碍 询 解决 方案 中 ， 由 IT 供应 丙 提供 完整 的 大 数据 分 布 式 业 
务 平台 和 Hadoop 大 数据 平台 解决 方 采 ，A 金 融 机 构 的 技术 团队 只 需 专 注 
历史 明细 查询 业务 的 编写 。 分 布 式 业务 平台 文 持 多 业务 系统 并 发 访问 ， 
实现 实时 历史 明细 奏 询 能 力 。 方 案 同时 文 持 Socket、Web 业 务 请 求 接 入 
和 分 发 ， 与 A 金融 机 构 业 务 系统 无 颖 衔接 。 创 新 的 CTBase 方 案 、 独 有 的 

















聚 艇 和 多 级 索引 支持 HBase 多 表 关 联 查 询 的 能 力 。HBase 同 时 支持 
SQL、Java API 编 程 接口 ， 适 应 客户 的 编程 习惯 。 


在 全 量 多 维 客户 行为 分 析 解 决 方案 中 ， 由 IT 供应 商 提 供 完整 的 数据 挖掘 
工具 大 数据 调 罕 平台 和 Hadoop 大 数据 平台 解决 方案 ，A 人 金融 机 构 技术 团 
队 只 需 专注 客户 行为 分 析 业 务 的 编写 。IT 供 应 商 同时 提供 了 金融 通用 的 
客户 行为 分 析 业 务 ， 即 用 户 特 征 刻画 、 小 微 贷 倾向 分 析 。 大 数据 洞察 平 
台 基 于 大 数据 全 量 建 模 分 析 ， 可 以 挖掘 出 14 000 位 客户 特征 ， 实 现 多 维 
并 有 分析。 方案 采用 Hadoop 机 器 目 动 学 习 机 制 ， 大 大 提高 分 析 准 确 度 。 
客户 行为 分 析 结 果 存 储 在 HBase， 供 业务 碍 询 使 用 。 


在 实时 征 信和 解决 方案 中 ，IT 供 应 商 提 供 完整 的 大 数据 分 布 式 业 务 平台 

(DAP) 和 Hadoop 大 数据 平台 解决 方 采 ，A 金 融 机 构 技 术 团 队 只 需 专注 
实时 征 信 业 务 组 件 的 编写 。 分 布 式 业务 平 合 提供 征 信 流 程 业务 系统 并 发 
处 理 能 力 。 分 布 式 业务 平台 提供 实时 工作 流 引 擎 ， 可 以 根据 预先 设置 的 
顺序 自动 化 执行 征 信 的 每 一 个 业务 流程 。HBase 中 存储 所 有 与 实时 征 信 
相关 的 表 ， 包 括 资 料 信 息 表 、 内 部 资信 表 、 客 尸 公共 profile 表 、 风 险 信 
息 表 、 征 信 主 表 ， 提 供 征 信和 数据 实时 查询 能 力 。HBase 文 持 SQL 调 用 接 
口 ， 与 实时 征 信 已 有 的 业务 组 件 无 缝 衔接。 


系统 收 荔 


A 人 金融 机 构建 设 的 第 二 数据 平面 大 数据 平台 为 A 金 融 机 构 融 来 非常 显著 
的 价值 收益 ， 有 具体 表现 在 以 下 几 个 方面 〈 见 图 10-35) 。 























> 历史 明细 查询 : 实现 统一 集中 存储 5 年 15TB 交 易 历史 明细 数 
据 ， 便 于 管理 和 扩展 ， 多 业务 系统 并 发 实时 查询 5 年 交易 历史 明细 
数据 ， 提 升 金融 最 终 用 户 的 使 用 体验 。 








> ”实时 征 信 ， 实 现 了 2~5 秒 自动 化 征 信 ， 提 升 金融 信贷 客户 的 满 
意 度 ， 实 时 工作 流 引擎 简化 客户 部 署 实时 自动 化 征 信 业 务 的 难度 。 








” 客户 行为 分 析 : 小 微 贷 倾向 分 析 实 现 TOP10 000 客 户 推荐 成 功 
转化 率 ， 相 比 传统 数据 仓库 ， 四 维度 分 析 模 式 转化 率 将 提高 6 倍 。 


个 转 化 量 


ee 机 器 学 习 


002 


世家 规则 
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图 10-35 ”小 微 贷 大 数据 与 传统 数据 仓库 分 析 效 果 对 比 








10.5 来 大 数据 应 要 


10.5.1 办 时 大 类 
似乎 一 夜 之 间 ， 大 数据 (Big Data〉 变 成 一 个 IT 行 业 中 最 时 比 的 词汇 。 


首先 ， 大 数据 不 是 什么 完 完全 全 的 新 生 事物 ，Google 的 搜索 服务 束 是 一 
个 典型 的 大 数据 运用 ， 根 据 客 户 的 需求 ，Google 实 时 从 全 球 海量 的 数字 
资产 《或 数字 垃圾 ) 中 快速 找 出 最 可 能 的 答案 ， 并 呈现 给 你 ， 这 就 是 一 
个 最 典型 的 大 数据 服务 。 只 不 过 过 去 这 样 规模 的 数据 量 处 理 和 有 商业 价 
值 的 应 用 太 少 ， 在 I 开行 业 没 有 形成 成 型 的 概念 。 现 在 随 看 全 球 数字 化 、 
网 络 宽 珊 化 、 互 联网 应 用 于 各 行 各 业 ， 累 积 的 数据 量 越 来 越 大 ， 越 来 越 
多 企业 、 行 业 和 国家 发 现 ， 可 以 利用 类 似 的 技术 更 好 地 服务 客户 、 发 现 
新 商业 机 会 、 必 六 新 市 场 以 及 提升 效 率 ， 从 而 逐步 形成 入 数据 这 个 概 


/CC 











从 运营 商行 业 的 一 个 真实 故事 讲 起 : 某 运 营 商 客户 有 一 个 困扰 ， 即 一 些 
手机 广 商 和 客户 内 部 的 茶 些 人 内 外 勾结 ， 采 用 俗称 * 洗 码 ?” 的 方式 来 非法 
获 利 ， 有 具体 来 说 ， 就 是 这 些 手机 厂商 的 部 分 手机 进入 运营 商 渠 道 销售 、 
加 上 资费 包 出 库 后 ， 并 没有 进入 最 终 消 费 者 手中 ， 而 是 进入 相关 利益 者 
手中 ， 相 关 利 益 者 把 手机 资费 拆 包 卖 挥 后 ， 手 机 又 通 过 渠道 重新 进入 运 
营 商 的 销售 环节 。 对 于 运营 商 来 说 ， 这 样 没 有 发 展 新 用 户 ， 只 是 循环 徒 














增 成 本 。 单 纯 从 运营 商 的 流程 和 业务 系统 是 找 不 出 问题 在 哪里 的 。 后 
来 ， 客 户 技 术 团队 利用 技术 手段 从 网 络 、 运 营 系 统 等 抓 取 了 很 多 的 数 
据 ， 对 各 品牌 、 各 球 式 、 各 批 次 手机 建 模 分 析 ， 友 现 一 系列 线索 ， 找 到 
了 问题 点 和 相关 贡 任 人 ， 运 营 商 通过 处 如 及 威慑 基本 杜绝 了 这 种 情况 的 
发 生 。 这 件 事 当时 做 的 时 候 ， 大 数据 概念 还 没有 变 得 很 热 ， 但 坚 无 疑 
问 ， 这 样 的 做 法 就 是 大 数据 方法 的 有 效 实践 。 


另外 一 个 有 趣 的 故事 是 关于 奢侈 品 营销 的 。PRADA 在 纽约 的 旗舰 店 中 
每 件 衣服 上 都 有 REFID 码 。 每 当 一 个 顾客 拿 起 一 件 PRADA 进 试 衣 间 ， 
RFID 会 被 自动 识别 。 同 时 ， 数 据 会 传 至 PRADA 总 部 。 每 一 件 衣服 在 哪 
个 城市 哪个 旗舰 店 什么 时 间 被 拿 进 试 衣 间 停留 多 长 时 间 ， 数 据 都 被 存储 
起 来 加 以 分 析 。 如 果 有 一 件 衣服 销量 很 低 ， 以 往 的 做 法 是 直接 下 架 。 但 
如 果 RFID 传 回 的 数据 显示 这 件 衣服 虽然 销量 低 ， 但 进 试 衣 间 的 次 数 
多 ， 那 就 能 另外 说 明 一 些 问 题 。 也 许 这 件 衣服 的 下 场 就 会 截然 不 同 ， 也 
许 在 某 个 细节 的 微小 改变 就 会 重新 创造 出 一 件 非 常 流行 的 产品 。 


还 有 一 个 是 关于 中 国 粮 食 统 计 的 故事 。 中 国 的 粮食 统计 是 一 个 老大 难 的 
问题 。 中 国 的 统计 ， 虽 然 有 组 织 、 有 流程 、 有 法 律 ， 但 中 央 的 统计 人 员 
依靠 省 统计 人 员 ， 省 靠 市 ， 市 靠 县 ， 县 靠 镇 ， 镇 靠 村 ， 最 后 真正 干 活 或 
上 报 的 是 基层 兼职 的 调查 人 员 。 在 前 两 年 北京 的 一 个 会 议 上 ， 原 国家 统 
计 局 总 经 济 师 姚景源 讲述 了 他 们 是 如 何 提升 数据 的 精准 性 的 。 他 们 采用 
遥感 卫星 ， 通 过 图 像 识 别 ， 把 中 国 所 有 的 耕地 标识 计算 出 来 ， 然 后 把 中 
国 的 耕地 网 格 化 ， 对 每 个 网 格 的 耕地 抽样 进行 跟踪 、 调 查 和 统计 ， 然 后 
按照 统计 学 的 原理 ， 计 算 ( 或 者 说 估算 ) 出 中 国 整 体 的 粮食 数据 。 这 种 
做 法 是 典型 采用 大 数据 建 模 的 方法 ， 打 破 传 统 流 程 和 组 织 ， 直 接 获 得 最 
0 Eh 
以 验证 。 


最 后 是 一 个 炒股 的 故事 。 这 个 故事 来 自 2011 年 好 业 坞 的 一 部 高 智商 电影 
《了 永 无 止境 》， 讲 述 一 位 落 鲍 的 作家 库 珀 ， 服 用 了 一 种 可 以 迅速 提升 知 
力 的 神奇 蓝 色 药物 ， 然 后 他 将 这 种 高 智商 用 于 炒股 。 库 班 是 怎样 炒股 的 
呢 ? 他 能 在 短 时 间 和 车 握 无 数 公司 的 资料 和 背景 ， 也 就 是 将 世界 上 已 经 存 
在 的 海量 数据 (包括 公司 财报 、 电 视 、 几 十 年 前 的 报纸 、 互 联网 、 小 道 
消息 等 ) 挖掘 出 来 ， 串 联 起 来 ， 通 过 海量 信息 的 挖掘 、 分 析 ， 使 一 切 内 
幕 都 不 是 内 幕 ， 使 一 切 趋势 都 在 眼前 ， 结 果 在 10 天 内 他 就 局 得 了 200 万 
美元 ， 神 奇 的 表现 让 里 边 的 职业 投资 者 目 具 口 厅 。 这 部 电影 展现 了 大 数 
据 魔 力 ， 我 们 推荐 没有 看 过 的 IT 人 士 看 一 看 。 





















































从 这 些 案例 来 看 ， 大 数据 并 不 是 很 神奇 的 事情 。 就 如 同 电影 《 永 无 止 

境 》 提 出 的 问题 ， 人 类 通常 只 使 用 了 20% 的 大 脑 ， 如 果 剩 余 80% 的 大 脑 
潜能 被 激发 出 来 ， 世 界 会 变 得 怎样 ? 在 企业 、 行 业 和 国家 的 管理 中 ， 通 
常 只 有 效 使 用 了 不 到 20% 的 数据 (甚至 更 少 ，， 如 果 剩 余 80% 的 数据 价 
值 激发 起 来 ， 世 界 会 变 得 怎么 样 呢 ? 特 别 是 随 看 数据 爆 友 式 增 长 ， 并 且 
得 到 更 有 效应 用 ， 世 界 会 怎么 样 呢 ? 


单个 数据 并 没有 价值 ， 但 越 来 越 多 的 数据 罕 加 ， 量 变 就 会 引起 质变 ， 残 
好 像 一 个 人 的 意见 并 不 重要 ， 但 1 千 人 、1 万 人 的 意见 就 比较 重要 ， 上 百 
万 人 就 足以 掀起 巨大 的 波 凋 ， 上 亿 人 足以 改变 一 切 。 


数据 未 被 整合 和 挖 气 ， 其 价值 无 法 呈现 出 来 。《 永 无 止境 》 中 的 库 珀 如 
人 
束 没 有 价值 。 


因此 ， 海 量 数据 的 产生 、 获 取 、 挖 掘 及 整合 ， 使 之 展现 出 巨大 的 商业 价 
值 ， 数 据 驱动 经 营 ， 这 就 是 我 们 所 理解 的 大 数据 。 在 互联 网 对 一 切 重 构 
的 今天 ， 这 些 问题 都 不 是 问题 。 因 为 ， 大 数据 是 互联 网 深入 发 展 的 下 一 
波 应 用 ， 有 是 互联 网 发 展 的 目 然 延 伸 。 目 前 ， 可 以 说 大 数据 的 发 展 到 了 一 
个 临界 点 ， 才 会 成 为 IT 行业 中 最 热门 的 词汇 之 一 。 






































我 们 以 对 未 来 汽车 行业 的 狂 野 想象 来 感受 大 数据 可 能 带 来 的 变化 。 


在 人 的 一 生 中 ， 汽 车 是 一 项 巨大 的 投资 。 以 一 部 30 万 元 的 车 、7 年 换 车 
周期 来 算 ， 每 年 折旧 费 4 万 多 元 〈 这 里 还 不 算 资金 成 本 ) ， 加 上 停车 、 
保险 、 油 、 维 修 、 保 养 等 各 项 费用 ， 每 年 花费 应 在 6 万 元 左右 。 汽 车 产 
业 也 是 一 个 拥有 很 攻 产业 链 的 龙头 产业 ， 这 个 方面 只 有 房地产 可 以 编 





























但 同时 ， 汽 车 产业 链 是 一 个 低 效率 、 变 化 慢 的 产业 。 汽 车 一 直 以 来 就 是 
四 个 轮子 、 一 个 方 网 盘 、 两 排 沙 发 〈 李 书 福 语 ) 。 这 么 一 个 昂贵 的 东 
0 





我 们 在 这 里 狂 野 地 想象 一 番 ， 如 果 将 汽车 全 面 数字 化 ， 都 大 数据 了 ， 会 
产生 什么 结果 ? 


有 些 人 说 ， 汽 车 数字 化 ， 不 就 是 加 个 MBB 模 块 吗 ? 不 ， 这 太 小 儿科 

了 。 深 入 地 来 看 ， 数 字 化 意味 着 汽车 可 以 随时 连 上 互联 网 ， 意 味 着 汽车 
是 一 个 大 型 计算 系统 加 上 传统 的 轮子 、 方 问 盘 和 沙发 ， 意 味 着 可 以 数字 
化 导航 、 目 动 区 驶 ， 意 味 着 你 和 汽车 相关 的 每 一 个 行动 都 数字 化 ， 包 括 
每 一 次 维修 、 每 一 次 驾驶 路 线 、 每 一 次 事故 的 录像 、 每 一 天 汽车 关键 部 
件 的 状态 ， 甚 至 你 的 每 一 个 驾驶 习惯 〈 如 每 一 次 的 条 车 和 加 速 ) 都 记录 
在 案 。 这 样 ， 你 的 车 每 月 其 至 每 周 都 可 能 产生 1TB 以 上 的 数据 。 


好 了 ， 我 们 假设 这 些 数 据 部 可 以 存储 并 分 至 给 相关 的 政府 、 行 业 和 企 
业 。 这 里 不 讨论 隐私 问题 带 来 的 影响 ,假设 在 隐私 保护 的 前 提 下 ， 数 据 
可 以 自由 分 享 。 


那么 ， 保 险 公司 会 怎么 做 呢 ? 保险 公司 把 你 的 所 有 数据 拿 过 去 建 模 分 

析 ， 发 现 几 个 重要 的 事实 ;一 是 你 开车 主要 只 是 上 下 班 ，A 地 到 B 地 这 
条 线路 是 非 繁华 路 线 ， 红 绿灯 很 少 ， 这 条 路 线 过 去 一 年 统计 的 事故 率 很 
低 ， 你 的 车 况 〈 车 的 使 用 年 限 、 车 型 ) 好 ， 此 车 型 在 全 市 也 是 车 祸 率 发 
生 较 低 的 车 型 ， 甚 至 可 以 统计 你 的 驾驶 习惯 ， 加 油 平均 ， 临 时 刹车 少 ， 
超车 少 ， 和 周围 车 保持 了 应 有 的 车 距 ， 驾 驶 习惯 好 。 最 后 结论 是 ， 你 的 
车 型 好 ， 和 车 况 好 ， 驾 驶 习惯 好 ， 常 走 的 线路 事故 率 低 ， 过 去 一 年 也 没有 
出 过 车 祸 ， 因 此 可 以 给 予 更 大 幅度 的 优惠 折扣 。 这 样 保险 公司 就 完全 重 
构 了 它 的 商业 模式 了 。 在 没有 大 数据 支撑 之 前 ， 保 险 公司 只 把 车 险 客户 
做 了 简单 的 分 类 ， 一 共 分 为 四 种 客户 ， 第 一 种 是 连续 两 年 没有 出 车 祝 

的 ， 第 二 种 是 过 去 一 年 没有 出 车 祸 的 ， 第 三 种 是 过 去 一 年 出 了 一 次 车 视 
的 ， 第 四 种 是 过 去 一 年 出 了 两 次 及 以 上 车 祸 的 。 这 种 简单 粗略 的 分 类 ， 
就 好 像 女 人 找 老公 ， 仅 把 男人 分 为 没有 结 过 婚 的 、 结 过 一 次 婚 的 、 结 过 
二 次 婚 的 、 结 过 三 次 及 以 上 婚 的 四 种 男人 ， 就 敢 嫁 人 一 样 。 在 大 数据 的 
支持 下 ， 保 险 公司 可 以 真正 以 客户 为 中 心 ， 把 客户 分 为 成 十 上 万 种 ， 每 
个 客户 都 有 个 性 化 的 解决 方案 ， 这 样 保险 公司 的 经 营 将 完全 不 同 ， 对 于 
风险 低 的 客户 敢于 大 胆 地 给 予 折扣 ， 对 于 风险 高 的 客户 报 高 价 其 至 拒 

绝 。 如 此 一 来 ， 一 般 的 保险 公司 将 难以 和 这 样 的 保险 公司 竞争 。 拥 有 大 
数据 并 使 用 大 数据 的 保险 公司 比 传统 公司 将 拥有 压倒 性 的 竞争 优势 ， 大 
数据 将 成 为 保险 公司 最 核心 的 竞争 力 ， 因 为 保险 就 是 一 个 基于 概率 评估 
的 生意 ， 对 于 准确 评估 概率 ， 大 数据 毫 无 疑问 是 最 有 利 的 武器 ， 而 且 简 
直 是 量 身 定做 的 武器 。 


在 大 数据 的 支持 下 ，4S 店 的 服务 也 将 完全 不 同 。 车 况 信息 会 定期 传递 到 
4S 店 ，4S 店 会 根据 情况 及 时 提醒 车 主 及 时 保养 和 维修 ， 特 别 是 对 于 可 能 

































































危及 安全 的 问题 ， 在 客户 同意 下 甚至 会 采取 远程 干预 措施 ， 同 时 还 可 以 
提前 备货 ， 车 主 一 到 4S 店 就 可 以 维修 而 不 用 等 符 。 


对 于 驾驶 者 来 说 ， 不 想 开车 的 时 候 ， 在 大 数据 和 人 工 智 能 的 文 持 下 ， 车 
辆 可 以 目 动 驾 驶 ， 并 且 对 于 你 经 常 开 的 线路 可 以 目 学 习 、 目 优化 。 
Google 的 自动 驾驶 汽车 ， 为 了 对 周围 环境 做 出 预测 ， 每 秒 钟 要 收集 差 不 
多 1GB 的 数据 ， 没 有 大 数据 的 文 持 ， 目 动 过 驶 是 不 可 想象 的 ; 在 与 周转 
车 辆 距离 过 近 的 时 候 ， 会 及 时 提醒 车 主 避 让 ; 上 下 班 的 时 候 ， 会 根据 实 
时 大 数据 情况 ， 对 于 你 经 常 开车 的 线路 予以 提醒 ， 绕 开 拥 堵 点 ， 帮 你 选 
择 最 合适 的 线路 ， 在 出 现 紧急 状况 的 时 候 ， 比 如 爆 胎 ， 自 劫 驾驶 系统 将 
目 动 接管 ， 提 高 安全 性 (人 一 幸子 可 能 难以 碰 到 一 次 爆 胎 ， 人 在 紧急 时 
的 有 反应 往往 是 灾难 性 的 ， 只 会 更 糟 ) ; 到 城市 中 心 ， 寻 找 车 位 是 一 件 很 
膝 烦 的 事情 ， 但 未 来 你 可 以 到 了 商场 门口 后 ， 让 汽车 自己 去 找 停车 位 ， 
等 想 要 回程 的 时 候 ， 提 前 通知 汽车 ， 让 汽车 目 己 开 过 来 接 你 。 


车 辆 是 城市 最 大 、 最 活路 的 移动 物体 ， 是 拥堵 的 来 源 ， 也 是 最 大 的 污染 
来 源 之 一 。 数 字 化 的 车 辆 、 大 数据 应 用 将 带 来 很 多 的 改变 。 红 绿灯 可 以 
目 动 优 化 ， 根 据 不 同 拓 路 的 拥堵 情况 目 动 进行 调整 ， 其 至 在 很 多 地 方 可 
以 取消 红绿灯 ;城市 俘 车 场 也 可 以 大 幅度 优化 ， 根 据 大 数据 的 情况 优化 
城市 停车 位 的 设计 ， 如 宋 配 合 车 辆 的 目 动 驾 驶 功能 ， 停 车 场 可 以 进行 音 
命 性 的 演变 ， 设 计 专 门 为 自动 驾驶 车 辆 服务 的 停车 楼 ， 地 下 、 地 上 楼 层 
可 以 高 达 几 十 层 ， 停 车 楼 层 可 以 更 人 矮 ， 只 要 高 于 车 高 度 即 可 〈 或 者 把 车 
坚 起 来 停 ) ， 这 样 将 会 对 城市 规划 产生 巨大 的 影响 ， 在 出 现 紧急 情况 
时 ， 如 前 方 塌方 的 时 候 ， 可 以 第 一 时 间 通 知 周围 车 辆 (尤其 是 开 往 塌方 
道路 的 车 辆 ) ;现在 的 燃油 税 也 可 以 发 生 音 命 性 变化 ， 可 以 真正 根据 车 
辆 的 行驶 路 程 ， 甚 至 根据 汽车 的 排污 量 来 收费 ， 排 污 量 少 的 车 甚至 可 以 
搞 碳 交易 ， 将 排放 量 卖 给 高 油耗 的 车 ; 政府 还 可 以 每 年 公布 各 类 车 型 的 
实际 排污 量 、 税 球 、 安 全 性 等 指标 ， 或 励 民 众 买 更 节能 、 更 安全 的 车 。 


电子 商务 和 快递 业 也 可 能 发 生 巨大 的 变化 。 运 快递 的 车 可 以 自动 驾驶 ， 
不 用 在 白天 行驶 在 拥堵 的 道路 ， 而 在 晚上 行驶 。 你 可 以 在 家 门口 设计 目 
动 接收 箱 ， 通 过 开局 密码 目 动 投递 进去 ， 就 好 像 过 去 报 童 投 报 一 样 。 


这 么 想象 下 来 ， 我 们 看 到 ， 汽 车 数字 化 、 互 联网 化 、 大 数据 应 用 、 人 工 
智能 等 将 对 汽车 业 及 相关 的 长 产业 链 产生 难以 想象 的 巨大 变化 和 产业 单 
命 ， 具 有 无 限 的 想象 空间 ， 可 能 完全 被 重 构 。 当 然 ， 要 实现 我 们 所 描述 
的 场景 ， 还 有 很 长 的 路 要 走 。 






































下 面 ， 我 们 总 结 一 下 大 数据 将 会 带 来 的 改变 。 


第 一 ， 大 数据 使 企业 真正 有 能 力 从 以 自我 为 中 心 改 变 为 以 客 己 为 中 心 。 
企业 是 为 客户 而 生 的 ， 目 的 是 为 股东 获得 利润 。 只 有 服务 好 客户 ， 才 能 
获得 利润 。 但 过 去 ， 很 多 企业 是 没有 能 力 做 到 以 客户 为 中 心 的 ， 原 因 残 
是 相应 客户 的 信息 量 不 大 ， 控 掘 不 够 ， 系 统 也 不 支持 ， 目 前 的 保险 业 残 
是 一 个 典型 。 大 数据 的 使 用 能 够 使 对 企业 的 经 营 对 象 从 客户 的 粗略 归纳 
(提炼 归纳 的 “客户 群 *) 还 原 成 一 个 个 活生生 的 客户 ， 这 样 经 营 束 有 针 
对 性 ， 对 客户 的 服务 就 更 好 ， 投 资 效 率 就 更 高 。 


第 二 ， 大 数据 在 一 定 程度 上 将 颠覆 了 企业 的 传统 管理 方式 。 现 代 企业 的 
管理 方式 来 源 于 对 军队 的 模仿 ， 依 赖 于 层 层级 级 的 组 织 和 严格 的 流程 ， 
依赖 信息 的 层 层 汇 集 、 收 敛 来 制定 正确 的 决策 ， 再 通过 决策 在 组 织 的 传 
递 与 分 解 以 及 流程 的 规范 ， 确 保 决 策 得 到 员 彻 ， 确 保 每 一 次 经 营 活 动 都 
有 质量 保证 ， 也 确保 一 定 程 度 上 对 风险 的 规避 。 过 去 这 是 一 种 有 用 而 举 
拙 的 方式 。 在 大 数据 时 代 ， 我 们 可 能 重 构 企 业 的 管理 方式 ， 通 过 大 数据 
的 分 析 与 挖 据 ， 大 量 的 业务 本 身 融 可 以 目 决 策 ， 不 必要 依靠 膨大 的 组 织 
和 复杂 的 流程 。 大 家 都 是 基于 大 数据 来 决策 ， 都 是 依赖 于 既定 的 规则 来 
决策 ， 是 高 高 在 上 的 首席 执行 官 决 策 ， 还 是 一 线 人 员 决 策 ， 本 号 并 无 大 
的 区 别 ， 那 么 企业 是 否 还 需要 如 此 多 层级 的 组 织 和 复杂 的 流程 呢 ? 


第 三 ， 大 数据 另外 一 个 重大 的 作用 是 改变 了 商业 逻辑 ， 提 供 了 从 其 他 视 
角 直 达 答 案 的 可 能 性 。 现 在 人 的 思考 或 者 企业 的 决策 ， 事 实 上 都 是 多 辑 
的 力量 在 主导 起 作用 。 我 们 去 调研 、 收 集 数据 、 进 行 归 纳 总 结 ， 最 后 形 
成 自己 的 推断 和 决 集 意 见 ， 这 是 一 个 观察 、 思 考 、 推 理 、 决 集 的 商业 逻 
辑 过 程 。 人 和 组 织 的 逻辑 形成 需要 大 量 的 学 习 、 菩 训 与 实践 ， 代 价 是 非 
党 巨大 的 。 但 这 是 人 否 是 唯一 的 道路 呢 ? 大 数据 给 了 我 们 其 他 的 选择 ， 惑 
是 利用 数据 的 力量 ， 直 接 获 得 答案 。 束 好 像 我 们 学 习 数 和 学， 小 时 候 学 九 
九 乘 法 表 ， 中 学 学 几何 ， 大 学 学 微 积 分 ， 碰 到 一 道 难 题 ， 我 们 是 利用 了 
多 年 学 习 沉 淀 的 经 验 来 努力 求解 ， 但 我 们 还 有 一 种 方法 ， 在 网 上 直接 搜 
索 是 不 是 有 这 样 的 题目 ， 如 果 有 ， 直 接 抄 答案 就 好 了 。 很 多 人 就 会 批评 
说 ， 这 是 抄 府 ， 是 作 浆 。 但 我 们 为 什么 要 学 习 啊 ? 不 就 是 为 了 解决 问题 
呆 。 如 宁 我 任何 时 候 都 可 以 搜索 到 答案 ， 可 以 用 最 省 力 的 方法 找到 最 佳 
答案 ， 这 样 的 搜索 难道 不 可 以 是 一 条 光明 大 道 吗 ? 换 句 话说 ， 为 了 得 

到 “是 什么 ”， 我 们 不 一 定 要 理解 “为 什么 *。 我 们 不 是 否定 逻辑 的 力量 ， 

但 是 至 少 我 们 有 一 种 新 的 巨大 力量 可 以 依赖 ， 这 就 是 未 来 大 数据 的 力 
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第 四 ， 通 过 大 数据 ， 我 们 将 以 全 新 的 视角 来 发 现 新 的 商业 机 会 和 重 构 新 
的 商业 模式 。 我 们 现在 看 这 个 世界 ， 比 如 分 析 家 中 食品 腐败 ， 主 要 就 是 
依赖 于 我 们 的 眼睛 再 加 上 我 们 的 经 验 ， 但 如 果 我 们 有 一 台 显 微 镜 ， 我 们 
一 下 就 看 到 坏 细 菌 ， 那 么 分 析 起 来 就 完全 不 一 样 了 。 大 数据 就 是 我 们 的 
显微镜 ， 它 可 以 让 我 们 从 全 新 视角 来 发 现 新 的 商业 机 会 ， 并 可 能 重 构 商 
业 模 型 。 我 们 的 产品 设计 可 能 不 一 样 了 ， 很 多 事情 不 用 猜 了 ， 客 户 的 习 
惯 和 偏好 一 目 了 然 ， 我 们 的 设计 能 轻易 命中 客户 的 心窝 ; 我 们 的 营销 也 
完全 不 同 了 ， 我 们 知道 客户 喜欢 什么 、 讨 厌 人 什么， 更 有 针对 性 。 特 别 是 
显微镜 再 加 上 广角 镜 ， 我 们 将 有 更 多 全 新 的 视野 了 。 这 个 广角 镜 就 是 跨 
行业 的 数据 流动 ， 使 我 们 过 去 看 不 到 的 东西 都 能 看 到 了 ， 比 如 前 面 所 述 
的 汽车 案例 ， 开 车 是 开车 ， 保 险 是 保险 ， 本 来 不 相关 ， 但 当 我 们 把 开车 
80 6 600 











第 11 章 ” 企 ， 去 和 公有 云 对 IAAS 


11.1 _ 企 ， 去 和 公有 去 对 IAAS 屋 


随 着 云 计算 技术 、 产 品 、 解 决 方案 的 发 展 ， 企 业 私 有 云 建 设 和 公有 云 计 
算 均 进 入 新 一 轮 建设 高 潮 ， 同 时 也 面临 着 新 的 问题 。 


多 厂家 产品 集成 市 来 的 建设 周期 长 的 问题 


私有 云 和 公有 云 建设 需要 购买 服务 器 、 和 存储 、 网 络 、 操 作 系 统 、 数 据 

库 、 虚 拟 化 软件 、 云 基础 设施 软件 、 管 理 软件 ， 最 终 构 建成 企业 所 需要 
的 私有 云 基 础 设施 。 在 规划 和 采购 过 程 中 ， 客 户 根 据 上 自己 的 经 验 ， 挑 选 
符合 建设 目标 的 设备 ， 因 此 在 建设 过 程 中 ， 面 临 多 个 设备 三家 、 多 种 设 
备 型 号 、 多 种 软件 资源 《虚拟 化 软件 、 操 作 系统 、 数 据 库 、 双 机 等 ) 的 
异 构 集成 和 整合 ， 例 如 服务 器 和 存储 的 集成 ， 网 络 设 备 和 计算 /存储 设 

备 的 对 接 ; 同时 客户 也 必须 完成 软件 和 硬件 的 对 接 ， 例 如 OS 同 应 用 软 

件 和 硬件 的 集成 ， 与 新 的 管理 软件 的 集成 ， 需 要 全 面 的 软 硬 件 对 接 联 调 
保证 云 基础 设施 可 以 正常 工作 。 客 户 往往 需要 借助 技术 理解 深 、 协 调 能 
力 强 、 组 织 文 撑 到 位 的 集成 商 才 能 完成 私有 云 或 公有 云 的 建设 ， 不 仅 需 
要 投入 大 量 的 集成 服务 成 本 ， 而 且 会 面临 云 基础 设施 建设 周期 长 ， 无 法 
有 效 文 撑 业务 用 展 等 问题 。 


业务 和 应 用 迁移 


私有 云 和 公有 云 的 建设 是 为 了 支持 企业 的 开业 务 发 展 ， 即 需要 承载 企业 
的 开业 务 / 应 用 。 因 此 ， 人 快速、 平滑 地 将 原 有 IT 业务 和 应 用 迁移 到 新 的 基 
础 设施 上 ， 或 部 署 新 的 业务 /应 用 是 云 基础 设施 建设 过 程 中 的 关键 任 

务 。 首 先 ， 企 业 必 须 确定 哪些 业务 /应 用 可 以 采用 物理 部 署 或 虚拟 化 部 
署 ， 不 是 所 有 的 业务 都 适合 采用 虚拟 化 部 署 ， 也 不 是 所 有 的 应 用 都 可 以 
迁移 到 虚拟 化 平台 上 ， 因 此 企业 必须 了 解 和 确定 迁移 策略 和 方案 。 其 

次 ， 当 业务 /应 用 迁移 时 ， 在 云 基础 设施 上 ， 各 类 应 用 需要 分 配 何 种 类 




















型 资源 ， 各 设备 之 间 需 要 如 何 配合 ， 如 何 保证 各 业务 的 可 靠 性 、 安 全 隔 
离 ， 是 企业 必须 考虑 的 第 二 个 问题 。 第 三 ， 应 用 迁移 后 ， 如 何 对 应 用 的 
性 能 进行 调 优 ， 保 证 应 用 SLA， 快 速 定位 和 解决 问题 ， 是 企业 必须 面 对 
的 第 三 个 问题 。 原 有 业务 /应 用 的 迁移 ， 新 业务 /应 用 的 快速 部 普 ， 是 决 
定 云 基础 设施 成 败 的 关键 。 


多 厂家 设备 管理 难度 


多 厂家 设备 不 仅仅 需要 IT 维护 人 员 需 要 具备 多 种 设备 的 维护 能 力 ， 对 人 
力 成 本 和 人 人员 培训 提出 了 更 局 的 要 求 。 多 厂家 设备 也 为 快速 问题 定位 种 
来 巳 大 的 挑战 。 在 云 计算 环境 下 ， 资 源 蝇 度 的 虚拟 化 ， 应 用 程序 与 组 件 
是 多 对 多 的 依赖 关系 ， 一 个 应 用 程序 出 了 故障 ， 很 难 快速 、 准 确 地 定位 
古 哪个 三 家 的 哪个 组 件 出 现 了 问题 ， 因 此 ， 间 题 故 障 的 定位 是 云 计 算 环 
境 下 数据 中 心 管理 的 又 一 大 挑战 。 


系统 平 涓 扩展 问题 


随 着 BYOD， 和 移动、 社交 、 大 数据 的 发 展 ， 企 业 需 要 能 够 快速 扩容 云 基 
础 设施 为 业务 和 员工 提供 更 多 的 IT 服务 ， 因 此 ， 无 论 是 企业 云 还 是 公有 
云 ， 都 需要 有 平 谓 扩 展 能 力 。 衣 先 需 要 快速 扩展 系统 ， 提 供 更 多 的 资 

源 ; 其 次 ， 扩 展 时 不 能 影响 现 有 业务 ; 第 三 ， 扩 展 后 的 系统 要 能 够 充分 
利用 扩容 前 的 资源 和 扩容 后 的 资源 ， 提 升 资 源 利用 座 。 


为 了 解决 客户 在 私有 云 和 公有 云 建 设 过 程 中 面临 的 挑 成 ， 云 计算 设备 供 
应 商 开 始 纷纷 推出 一 体 机 设备 ，HP 在 2007 年 推出 业界 首 款 一 体 机 
CloudSystem， 之 后 业界 开始 涌现 出 数据 库 一 体 机 、 数 据 仓库 一 体 机 、 
基础 设施 一 体 机 、 参 考 架 构 一 体 机 、 计 算 存 储 融 合 一 体 机 等 适用 于 各 种 
业务 场景 的 一 体 机 。2012 年 一 体 机 总 市 场 超过 30 亿 美金 ， 并 在 未 来 的 5 
年 以 40% 的 年 增长 率 快 速 增长 ， 这 标志 着 客户 对 一 体 机 的 态度 已 经 从 演 
试 、 认 可 到 大 规模 采购 的 转变 。 一 体 机 已 经 成 为 云 基础 设施 的 关键 成 


上 
目前 ， 业 界 对 于 一 体 机 (Applicance〉 并 没有 一 个 通用 的 定义 ， 从 一 体 
和 
寺 征 : 


简化 的 基础 设施 组 件 
































客户 需要 能 够 快速 部 普 、 易 于 维护 、 快 速 定 位 问题 的 基础 设施 组 件 ， 因 
此 ， 一 体 机 系统 是 结构 简洁 、 接 口 统一 、 各 组 件 的 管理 系统 统一 的 基础 
设施 。 例 如 有 一 套 统 一 的 管理 系统 ， 柜 内 通信 部 需要 外 置 交 换 机 等 。 


融合 的 基础 设施 组 件 


传统 的 计算 、 存 储 、 网 络 三 大 件 模型 是 为 了 各 三 家 设备 对 接 的 水 平 划分 
架构 ， 当 一 体 机 作为 基础 设施 建设 基本 组 件 时 ， 本 刁 可 看 成 是 一 个 提供 
融合 了 计算 、 存 储 、 网 络 资源 的 实体 ， 因 此 ， 一 体 机 网 络 可 以 采用 各 种 
融合 的 技术 ， 例 如 ， 计 算 和 存储 融合 ， 由 服务 器 提供 计算 资源 和 存储 资 
源 ， 不 需要 外 置 的 存储 ; 计算 和 网 络 的 融合 ， 机 框 内 交换 板 提供 框 内 和 
框 间 交换 功能 ， 不 需要 外 置 交 换 机 。 融 合 技术 在 一 体 机 的 应 用 即 可 以 简 
化 一 体 机 结构 ， 也 可 提升 性 能 ， 并 降低 成 本 ， 是 一 体 机 的 关键 技术 之 




















企业 IT 业务 发 展 要 求 IT 基础 设施 可 以 快速 、 平 滑 扩展 ， 一 体 机 广 家 采用 
各 种 技术 来 文 持平 滑 扩展 ， 例 如 计算 和 存储 融合 以 构 的 一 体 机 ， 下 接 增 
加 服务 器 束 可 以 扩展 计算 和 存储 资源 ， 不 仅 简 单 、 快 速 而 且 成 本 低 。 


11.2 一 市 场 和 \ 

11.2.1 一 十 
自从 HP 在 2007 年 推出 业界 首 球 一 体 机 CloudSystem，Oracle 在 2008 年 推 
出 软 硬 件 集 成 的 数据 库 云 服务 器 Oracle ”Exadata， 一 体 机 被 业界 广泛 接 


(1) 应 用 一 体 机 : 专门 承载 某 类 应 用 或 功能 的 一 体 机 ， 如 Oracle 
Exadata 一 体 机 ，SAP HANA 一 体 机 ， 大 数据 一 体 机 。 


) 

(2) 基础 设施 一 体 机 : 集成 了 服务 器 ， 存 储 设备 ， 网 络 设备 的 开机 即 
用 的 基础 设施 设备 ， 厂 家 通常 提供 多 种 型 号 来 满足 各 种 规模 企业 客户 的 
需要 ， 典 型 产品 如 Vblock 100/200/320/720 等 。 


(3) 参考 架构 一 体 机 : 提供 一 个 基础 设施 设备 所 需 的 服务 器 ， 人 存储 设 





备 ， 网 络 设备 的 型 号 和 规格 ， 客 户 可 以 按 需 选择 部 件 型 号 和 规格 来 拼装 
一 体 机 ， 典 型 产品 如 Flexpod。 


应 用 一 体 机 的 主要 供应 丙 为 应 用 软件 广 商 ， 例 如 应 用 一 体 机 中 排名 第 一 
的 Exadata， 其 优势 在 于 业界 份额 第 一 的 Oracle 数 据 库 和 数据 仓库 软件 。 


基础 设施 一 体 机 和 参考 架构 一 体 机 的 供应 商 以 硬件 三 家 为 主 ， 三 家 基于 
其 硬件 产品 对 客户 的 影响 力 和 对 客户 需求 的 深入 把 握 ， 主 流 厂 家 包括 
EMC、 CISCO、 HP、 IBM. 


目 一 体 机 推出 后 ， 一 体 机 销售 快速 增长 。 据 统计 2012 年 一 体 机 的 总 收入 
为 约 40 亿 美元 ， 较 2011 年 增长 50%， 三 类 一 体 机 收入 基本 相当 ， 约 各 占 
1/3。 据 IDC 预 测 ，2016 年 一 体 机 市 场 空 sz 间 将 达到 178 亿 美元 。 


目前 一 体 机 的 主要 市 场 在 美国 ， 欧 洲 和 亚太 区 域 。 北 美和 欧洲 的 工业 化 
水 平 较 高 ，IT 基 础 设施 需求 一 直 比 较 强劲 ， 同 时 由 于 人 力 成 本 较 高 ， 因 
此 市 场 对 于 部 署 快速 ， 维 护 简单 的 一 体 机 持 接受 态度 ， 亚 太 地 区 由 于 中 
国 等 经 济 发 展 较 快 国家 对 于 IT 设备 需求 旺盛 ， 同 时 由 于 IT 维护 人 才 经 验 
等 因素 ， 对 方便 扩展 ， 维 护 简 单 的 一 体 机 也 接纳 很 快 。 据 统计 ，2012 年 
一 体 机 销售 中 北美 市 场 约 50%， 欧 洲 和 亚太 各 约 25%。 


业界 通常 将 开 基 础 设施 市 场 分 成 四 类 。 
(1) 中 小 企业 : 通常 简称 为 SMB， 这 类 企业 的 开设 施 规模 不 大 。 
(2) 大 企业 : 企业 的 开设 施 规模 较 大 ，ITT 应 用 规模 和 种 类 都 较 多 。 


(3) 服务 提供 商 : 主要 是 指向 企业 或 最 终 客 户 提供 电信 业务 、 互 联网 
业务 、 数 据 中 心 外 包 等 业务 的 提供 商 。 


(4) 超大 规模 业务 提供 商 : 主要 是 指 一 些 全 球 性 的 业务 提供 商 ， 例 如 
搜索 巨头 Google， 电 子 了 商务 兼 云 计算 服务 提供 商 Amazon， 这 些 全 球 性 
IT 业 务 巨 涉 具 有 大 量 IT 研 发 工程 师 和 维护 工程 师 ， 自 己 开发 业务 系统 ， 
因此 往往 需要 定制 硬件 ， 通 常 不 会 采用 一 体 机 。 


目前 一 体 机 客户 集中 于 中 小 企业 ， 大 企业 和 部 分 服务 提供 两 ， 由 于 小 规 
模 、 低 成 本 一 体 机 产品 比较 少 ， 因 此 主要 客户 来 日 大 企业 。 























11.2.2 ”一 体 机 技术 


NoSQL/MapReduce 技 术 


随 着 芽 技术 的 发 展 ， 信 息 处 理 的 对 象 发 生 了 极 大 的 变化 ， 从 关系 数据 的 
处 理 到 非 天 系数 据 的 处 理 方向 转变 ， 从 中 小 规模 数据 量 TB) 处 理 到 
大 规模 数据 (PB/ZB〉 处 理 转变 。 与 此 呼应 ， 新 数据 处 理 技术 不 断 涌 
现 ， 其 中 典型 的 是 非 关 系 型 数据 库 技 术 NoSQL 和 分 布 式 处 理 技术 
MapReduce。 


NoSQL 


NoSQL 是 Not only SQL 的 缩写 ， 是 对 不 同 于 传统 的 关系 型 数据 库 的 数据 
库 管 理 系统 的 统称 。 


两 者 存在 许多 显著 的 不 同 点 ， 其 中 最 重要 的 是 NoSQL 不 使 用 SQL 作 为 查 
询 语言 。 其 数据 存储 可 以 不 需要 固定 的 表格 模式 ， 也 经 常会 避免 使 用 
SQL 的 JOIN 操作 ， 一 般 有 水 平 可 扩展 性 的 特征 。NoSQL 的 实现 具有 两 个 
特征 : 使 用 硬盘 ， 或 者 把 随机 存储 器 作 存 储 载体 。 


NoSQL 一 词 最 早出 现 于 1998 年 ， 是 Carlo Strozzi 开 发 的 一 个 轻 量 、 开 
源 、 不 提供 SQL 功能 的 关系 数据 库 。 


2009 年 ，Last.fm 的 Johan Oskarsson 发 起 了 一 次 关于 分 布 式 开源 数据 库 的 
讨论 ， 来 自 Rackspace 的 Eric ”Evans 再 次 提出 了 NoSQL 的 概念 ， 这 时 的 
NoSQL 主 要 指 非 关系 型 、 分 布 式 、 不 提供 ACID 的 数据 库 设 计 模 式 。 


2009 年 在 亚特兰大 举行 的 “no:sql (east) ”讨论 会 是 一 个 里 程 碑 ， 其 口号 
是 “SELECT fun, profit FROM real_world WHERE relational=false”。 
此 ， 对 NoSQL 最 普 过 的 解释 是 “ 非 关 联 型 的 ”， 强 调 Key-Value Stores 和 文 
档 数 据 库 的 优点 ， 而 不 是 单纯 地 反对 RDBMS 。 

当代 典型 的 关系 型 数据 库 在 一 些 应 用 中 表现 出 糟糕 的 性 能 ， 例 如 为 巨 量 
文档 建立 索引 、 高 流量 网 站 的 网 页 服务 ， 以 及 发 送 流 式 媒 体 。 关 系 型 数 
据 库 的 典型 实现 主要 被 调整 用 于 执行 规模 小 而 读 写 频繁 ,或 者 大 批量 极 
少 写 访问 的 事务 。 


MapReduce 




















MapReduce 是 Google 提 出 的 一 个 软件 架构 ， 用 于 大 规模 数据 集 《〈 大 于 
1TB) 的 并 行 运算 。 概 念 *Map 〈 上 映射 ) ”和 “Reduce《〈 化 简 ) ”， 及 他 们 
都 是 从 函数 式 编程 语言 借 来 的 ， 还 有 从 矢量 编程 语言 借 来 
J 生性。 


当前 的 软件 实现 是 指定 一 个 Map《〈 映 射 ) 函数 ， 用 来 把 一 组 键 值 对 映射 
成 一 组 新 的 键 值 对 ， 指 定 并 发 的 Reduce〔 化 简 ) 函数 ， 用 来 保证 所 有 映 
射 的 键 值 对 中 的 每 一 个 共享 相同 的 键 组 。 


简单 来 说 ， 一 个 映射 函数 就 是 对 一 些 独立 元 系 组 成 的 概念 上 的 列表 《〈 例 
如 ， 一 个 测评 成 绩 的 列表 ) 的 每 一 个 元 素 进行 指定 的 操作 《〈“ 比 如 ， 有 人 
发 现 所 有 学 生 的 成 绩 都 被 高 佑 了 一 分 ， 他 可 以 定义 一 个 “ 减 一 ”的 映射 函 
数 ， 用 来 修正 这 个 错误 ) 。 事 实 上 ， 每 个 元 素 都 是 被 独立 操作 的 ， 而 原 
台 列 表 没 有 被 更 改 ， 因 为 这 里 创建 了 一 个 新 的 列表 来 保存 新 的 答案 。 这 
就 是 说 ，Map 操 作 是 可 以 高 度 并 行 的 ， 这 对 高 性 能 要 求 的 应 用 以 及 并 行 
计算 领域 的 需求 非常 有 用 。 


化 简 操作 指 的 是 对 一 个 列表 的 元 素 进 行 适当 的 合并 。 继 续 看 前 面 的 例 
子 ， 如 果 有 人 想 知道 班级 的 平均 分 该 怎么 做 ? 他 可 以 定义 一 个 化 简 函 
数 ， 通 过 让 列表 中 的 奇数 (odd) 或 偶数 〈even) 元 素 跟 上 自己 的 相 邻 的 
元 素 相 加 的 方式 把 列表 减 半 ， 如 此 递归 运算 直到 列表 只 剩 下 一 个 元 对 ， 
然后 用 这 个 元 系 除 以 人 数 ， 就 得 到 了 平均 分 。 虽 然 它 不 如 映射 函数 那么 
并 行 ， 但 是 因为 化 简 总 是 有 一 个 简单 的 答案 ， 大 规模 的 运算 相对 独立 ， 
所 以 化 简 函 数 在 高 度 并 行 环境 下 也 很 有 用 。 


SSD 技 术 
SSD (Solid-State Drive) 固态 便 盘 ， 采 用 NAND Flash 颗 粒 ， 它 能 够 有 效 


填补 在 CPU 计算 能 力 越 来 越 强 的 情况 下 ， 内 存 与 HDD 之 间 越 来 越 大 的 
IOPS 和 时 延 的 缺口 。 



































PCIe SSD 提 供 高 达 600K@4KB 100% Random 读 IOPS 性 能 以 及 3000MBPS 
读 写 人 带宽， 满足 客户 对 高 JO、 高 带宽 的 业务 需求 〈 见 图 11-1、 几 11- 
2) O 
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SAS 机 械 人 硬盘 SATS SSD 硬 琐 FC 人 磁 扒 阵列 PCIe SSD 卡 


图 11-1 PCIe SSD 与 磁盘 、SSD 盘 、FC 阵 列 读 写 带宽 对 比 
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SAS 机 械 人 硬盘 SATS SSD 硬 盘 。 FC 磁盘 阵列 PCIe SSD 卡 
图 11-2 PCIe SSD 与 磁盘 、SSD 盘 、FC 阵 列 IOPS 对 比 


SSD 已 经 被 广泛 应 用 ， 不 仅 被 用 做 Cache 绥 存 ， 而 且 在 数据 库 、 高 性 能 
存储 等 领域 ，SSD 还 被 作为 主 存 蔡 代 传统 的 磁盘 ， 以 获得 更 好 的 IOPS 和 
读 写 时 延 。 如 Oracle 的 数据 库 一 体 机 Exadata、VCE 的 Vblock/Flexpod、 
Nutanix 的 基础 设施 一 体 机 、 华 为 的 FusionCube 基 础 设施 一 体 机 等 〈 见 图 
11-3) 。 





NAND Flash 分 为 三 种 ， 分 别 是 单 层 式 存储 (SLC)、 多 层 式 存储 
(MLC， 通 常用 来 指称 两 层 式 存储 ) 、 三 层 式 存储 (TLC) 。 随 着 制造 
工艺 的 不 断 改 进 ， 成 本 持续 下 降 ， 但 是 SLC 的 成 本 仍然 过 高 ，MLC 被 大 


量 用 于 企业 应 用 。 


SSD 技 术 的 关键 挑战 是 寿命 和 制造 工艺 的 提升 。 随 着 制造 工艺 的 提升 ， 
每 单元 容纳 的 电子 数量 越 来 越 少 (30@20nm) ，2D NAND ”Flash 在 
12/10nm 遭 遇 天 花 板 ，3D 技 术 可 以 缓解 可 靠 性 瓶 贷 ， 但 无 法 根本 解决 ， 
3D NAND Flash 技 术 越 来 越 成 熟 ， 在 2014 一 2015 年 量 产 。 随 着 工艺 提升 
J 对 控制 器 算法 纠 错 的 能 力 要 求 越 来 越 高 ， 控 制 器 将 走 癌 ASIC 





存储 介质 








| 
sATA HDD 个 SSD 成 为 内 存 和 磁盘 之 间 Low End 
Gms 的 Cache， 并 向 两 侧 应 用 IP SAN 
渗透 ps 
SAS HDD ! High End 
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<lns <10ns <1us <10us <100us <10ms 


图 11-3 ”SSD 成 为 内 存 和 磁盘 之 间 的 Cache， 并 向 两 侧 应 用 渗透 
SSD 发 展 轨迹 具体 如 下 : 


“接口 不 断 丰 宇 ， 速 率 不 断 提 升 ， 和 IT 业界 接口 互 连 技术 及 展 的 
整体 节 委 保持 一 致 ; 





> 控制 器 ASIC 化 ， 且 商业 ASIC 控 制 器 逐步 被 少数 厂商 把 控 ， 部 
分 系统 厂商 选择 自 研 SSD 控 制 器 ; 


” 针对 NAND FLASH 介 质 的 可 徘 性 /高 性 能 优化 技术 在 不 断 深 
入 ， 特 别 是 系统 应 用 的 改进 。 


NAND FLASH 发 展 轨迹 具体 如 下 : 


” 工艺 不 断 进步 ， 旦 发 展 呈 加 速 趋 势 ，3D NAND 预 计 在 2015 一 





2016 年 会 走 同 批量 商用 ; 





” 纠 错 能 力 要 求 越 来 越 高 ， 控 制 器 实现 复杂 度 增加 ; 


” 单 Die 容 量 越 来 越 大 ， 单 位 容量 成 本 不 断 降 低 ， 逐 步 逼 近 企 业 级 
SAS HDD。 


NVRAM 和 了 PCIe SSD 性 能 规格 对 比 ， 如 图 11-4 所 示 。 


>SATA SSD >SATA SSD >SAS SSD 出 现 >PCle SSD 猎 >PCIe SSD 
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图 11-4 NVRAM 和 PCIe SSD 性 能 规格 对 比 
NVRAM 技 术 


NVRAM 非 易 失 性 随机 访问 存储 器 (Non-Volatile Random Access 
Memory) ， 是 指 断 电 后 仍 能 保持 数据 的 一 种 RAM。 本 章节 讲述 的 
NVRAM 主 要 针对 两 种 形态 ， 即 “DRAM+NANDFlash+ 备 电 的 

NVDIMM” 形 态 和 PCIe NVRAM 形 态 ， 这 两 种 形态 以 获取 与 内 存 相 当 的 
访问 性 能 为 目标 。 
NVRAM (NVDIMM、PCIe NVRAM) 比 SSD 具 有 更 低 的 时 延 、 更 大 的 
带宽 、 更 高 的 IOPS、 无 写 寿 命 限制 等 优势 ， 但 价格 相 比 SSD 更 高 ， 容 量 
比较 有 限 ， 主 要 用 于 写 Cache 应 用 〈 见 表 11-1) 。 


表 11-1 NVRAM 和 PCIe SSD 的 性 能 规格 对 比 





NVDIMM PCle SSD PCle NVRAM 

















存储 颗粒 “|DRAM+SLC Nand Flash MLC Nand Flash DRAM+SLC Nand Flash 
读 带宽 : 1.1 一 3.2GB/Xs 
写 带宽 : 0.6 一 2.8GBAS 带宽 : 3.2GB/s( 顺 序 读 写 ) 

性 能 带宽 高 : 9.4GB/s 4k 随 机 读 IJOPS:， 260 一 720K | 4K 随 机 IO 读 写 

SE ER 
时 延 : <lus 级 处 随机 写 IOPS: 60 一 240K |1OPS: 630K 

写 时 延 : 20us 时 延 相对 高 :<16us 
读 时 延 ; 62us 

容量 2GB/4GB/8GB 400GB 一 2.4TB 4GB/8GB 

寿命 不 限制 写 有 限 写 寿命 不 限制 写 

接口 DDR3 RDIMM PCIe GEN2X8 PCIe GEN2X8 

标准 DIMM 条 形状 ， 备 电 |  、、， a 
尺寸 全 高 半 长 全 高 半 长 


占用 1 个 DIMM 空 间 





标准 字符 设备 、 块 设备 ; 
访问 方式 “| 内 存 接口 块 设备 接口 API 接 口 (封装 DMA); 
内 存 接口 (MMIO 方 式 ) 








低 延 迟 、 高 市 宽 的 网 络 技术 RDMAVIB 


RDMA (Remote Direct Memory Access) 技术 全 称 远程 直接 数据 存 取 ， 
顾名思义 是 远程 的 DMA， 通 过 该 技术 ， 可 以 通过 网 络 把 数据 直接 传 入 
男 一 台 服 务 嚣 (设备) 的 某 一 块 内 存 区 域 ， 几 乎 不 需要 耗费 本 地 与 对 端 
的 服务 器 CPU 的 处 理 能 力 。 在 实现 上 ， 其 主要 通过 将 可 靠 传输 协议 固化 
到 硬件 并 且 支 持 零 拷贝 技术 来 实现 。 


目前 ， 有 三 种 高 速 互联 技术 (RDMA) ， 分 别 是 老牌 技术 InfiniBand、 
基于 以 太 网 的 RoCE 技 术 以 及 基于 以 太 网 的 tfWARP 技 术 。 


InfiniBand 的 心 族 广 家 少 ， 仅 有 Mellanox、QLogic 两 家 ， 分 别 占 据 80% 和 
20% 的 市 场 份额 ， 厂 家 少 的 优点 是 新 数据 传输 速率 标准 的 制定 的 相应 产 
品 的 推出 远 比 以 太 网 技术 快 。InfiniBand 技 术 主要 应 用 于 : 





> 高 端 HPC 市 场 ; 


” 企业 级 数据 中 心 ; 











> 人 金融 与 证 券 交 易 市 场 ; 
~ Scale-out NAS 存 储 系统 及 其 他 高 端 存储 系统 ; 
” 高 端 数据 库 系 统 。 


(Internet Wide-Area RDMA Protocol) 是 由 ETF 组 织 定 义 的 一 种 
在 以 太 网 上 使 用 RDMA 技 术 的 网 络 技术 。 


RoCE (RDMA over Converged ETH) 是 由 IBTA 标 准 化 组 织 定 义 的 一 种 
在 以 太 网 上 采用 RDMA 技 术 的 网 络 互联 技术 。 


、 以 太 和 RoCE 在 时 延 、 带 宽 成 本 方面 对 比 情况 如 下 。 


” 时 延 : IB FDR < IB QDR <40G RoCE < 10G RoCE < iWARP <40 
TCP/IP < 10G TCP/IP, 


> 带宽 成 本 : 40G RoCE < 10GE < IB FDR < IB QDR。 

> 综合 对 比 : 40G RoCE 最 优 。 
RDMA 技 术 能 够 出 色 地 降低 CPU 负载 ， 缩 短 网 络 传输 时 延 ， 并 且 具 有 低 
成 本 的 优势 ， 已 经 在 数据 库 、HPC、 人 金融 、SMB、 大 数据 、 虚 拟 化 等 场 
景 得 到 应 用 。 
业界 支持 RoCE 的 情况 具体 如 下 : 


> 开源 Linux OFED 组 件 从 1.5.1 (2010) 版 本 开始 支持 RoCE， 目 
前 已 是 1.5.4; 


” Oracle Exadata/Exalogic 一 体 机 通过 OFED 及 IB 文 持 RDMA:; 


> 微软 在 SMB2.2 时 已 经 支持 RoCE， 在 3.0 中 更 强化 了 对 RDMA 的 
支持 。 目 前 ，IB、RoCE 及 iWARP 均 可 在 微软 平台 上 使 用 : 


”~ VMware 已 开始 进行 虚拟 化 环境 RDMA 文 持 方 面 的 初步 工作 ; 


> EMC 的 高 性 能 固态 存储 “Thunder" 支 持 RDMA; 


> IBM DB2 pureScale 数 据 库 、XIV Gen3 存 储 阵列 、TMS 固 态 存 
储 均 文 持 RoCE，; 


> Emulex 会 在 其 Skyhawk (4x10GbE) 网络 适 配器 上 支持 EoCE; 


> Mellanox 公 司 Connectx-3 网 卡 产 品 已 经 支持 RoCE。 
各 网 络 协议 比较 ， 如 表 11-2 所 示 。 
表 11-2 各 网 络 协议 比较 





















































协 
议 PCle 以 
1/10/40GE | 1IPolB iWARP RoCE IB PCle RDMA 
类 太 网 仿真 
型 
应 用 应 用 应 用 应 用 应 用 应 用 应 用 
6 | Sockets Sockets Sockets Sockets 
局 verbs verbs verbs verbs 
法 Sockets Sockets | Sockets SDP SDP SDP SDP 
RDMA RDMA RDMA RDMA 
内 TCP/IP | TCP/IP 
核 | TCP/IP IP over 无 无 无 无 
人 IP over IB 
个 PCIe 
Infiniband | -PCI Topi | ep | bd 
而 | 以 太 风 卡 站 是 ~ 中 传输 层 PCIe 了 驱动 
件 以 太 网 卡 以 太 网 卡 
以 太 网 nti Pol 以 大 网 以 太 网 Infiniband pCle 交 换 机 
交换 机 交换 机 | 交换 机 交换 机 交换 机 交换 机 
时 15~30 15~30 15~30 
入 5 微 秒 2 一 3 微 秒 2 微 秒 2 微 秒 
延 | 微 秒 ”| 微 秒 | 微 秒 a 人 


重 删 、 压 缩 技术 


目前 ， 数 据 压缩 和 重复 数据 删除 是 实现 数据 缩减 的 两 种 关键 技术 。 简 言 
之 ， 数 据 压缩 技术 通过 对 数据 重新 编码 来 降低 见 余 腻 ， 而 重复 数据 删除 
技术 侧重 于 删除 重复 的 数据 块 ， 从 而 实现 数据 容量 缩减 的 目的 。 











数据 压缩 和 重复 数据 删除 能 带 来 如 下 好 处 : 节省 数据 存储 空间 ， 降 低 
TCO、 节 和 省 物理 存放 空间 ， 提 升 号 入 性 能 ， 布 省 网 络 传输 闪 宽 ， 实 现 绿 
色 环保 (减少 电力 ， 空 调 的 使 用 〉。 


数据 压缩 和 重复 数据 删除 已 经 广泛 应 用 于 各 个 领域 。 


备份 领域 数据 量 巨大 ， 要 求 巨大 的 数据 吞吐 率 和 漫长 的 备份 窗口 。 传 统 
备份 方式 的 重复 数据 多 ， 通 常 可 达 20: 1~30: 1， 适 合 使 用 重 删 技术 。 


主 存储 市 场 也 开始 大 面积 应 用 重 删 技术 。 由 于 主 存 储 市 场 关注 时 延 ， 其 
于 关注 吞吐 量 ， 所 以 多 采用 后 重 删 技术 。 指 纹 查 找 算法 也 采用 简单 的 排 
序 碍 找 方法 ， 该 方式 重 删 率 最 高 ， 但 耗 时 巨大 ， 会 减少 SSD 盘 的 寿命 。 


虚拟 果 面 场景 VDI 在 系统 盘 中 有 大 量 的 重复 数据 ， 可 以 通过 重 删 来 解决 
空间 占用 和 启动 风暴 等 问题 。 


即使 内 存 中 有 大 量 重复 页 面 存在 ， 但 在 Linux 2.6.32 中 引入 了 
KSM (Kernel Samepage Merging) 可 更 加 高 效 地 使 用 内 存 。 


远程 复制 、 广 域 网 加 速 、 字 节 缓 存 、 源 端 重 删 的 本 质 都 是 先 在 本 地 生产 
数据 指纹 ， 然 后 发 送 指纹 到 对 端 ， 如 果 对 端 已 经 存在 这 个 指 约 ， 则 无 需 
重复 发 送 数据 。 


下 面 我 们 对 比分 析 数 据 压 缩 与 重复 数据 删除 。 


数据 压缩 和 重复 数据 删除 技术 都 关 眼 于 减少 数据 量 ， 两 者 的 差别 在 于 : 
数据 压缩 技术 的 使 用 前 提 是 信息 的 数据 表达 存在 见 余 ， 而 重复 数据 删除 
技术 的 实现 依赖 数据 块 的 重复 出 现 ;数据 压缩 技术 以 信息 论 研究 作为 发 
展 基础 ， 而 重复 数据 删除 技术 是 一 种 实践 性 技术 。 这 两 种 技术 在 本 质 上 
古 相 同 的 ， 即 通过 检索 元 余数 据 并 采用 更 短 的 指针 来 缩减 数据 容量 。 生 
们 的 区 别 关 键 在 于 ， 消 除 元 余 范 围 不 同 ， 发 现 抑 余 方 法 不 同 ， 元 余 粒 度 
不 同 ， 在 具体 实现 方法 上 也 有 诸多 不 同 。 


数据 压缩 与 重复 数据 删除 两 种 技术 具有 不 同 层面 的 针对 性 ， 并 能 够 络 合 
起 来 使 用 ， 从 而 实现 更 高 的 数据 缩减 比例 。 值 得 一 提 的 是 ， 如 果 同 时 应 
用 数据 压缩 和 重复 数据 删除 技术 ， 为 了 降低 对 系统 的 处 理 需 求 和 提高 数 
据 压缩 比率 ， 通 常 需要 先 应 用 数据 删除 技术 ， 然 后 再 使 用 数据 压缩 技术 
进一步 降低 “结构 图 ”的 面积 和 基本 数据 块 的 体积 。 如 果 顺 序 题 倒 ， 会 出 



























































现 什 么 样 的 结果 呢 ? 压缩 会 对 数据 进行 重新 编码 ， 从 而 破坏 数据 原生 的 
见 余 结 构 ， 因 此 再 应 用 重复 数据 ， 删 除 效 果 会 大 打折 扣 ， 而 且 消 耗 时 间 
也 更 多 。 而 先 执 行 重复 数据 删除 则 不 同 ， 它 首先 消除 了 见 余数 据 块 ， 然 
后 应 用 数据 压缩 对 唯一 副本 数据 块 进行 再 次 压缩 。 这 样 ， 两 种 扩 术 的 数 
据 缩 减 作用 得 到 有 登 加 ， 而 且 数 据 压 缩 的 消耗 时 间 大 大 降低 。 因 此 ， 移 去 
重 后 压缩 可 以 获得 更 高 的 数据 压缩 率 和 性 能 。 


11.2.3 ”一 产品 介绍 











业界 多 个 厂家 已 经 纷纷 推出 多 球 一 体 机 产品 ， 下 面 将 介绍 几 球 典型 产 


品 。 
数据 库 一 体 机 Exadata 


凭借 早 越 产品 的 性 能 和 企业 数据 库 市 场 的 王者 地 位 ，Exadata 2012 年 的 
销售 额 约 为 10 亿 美元 ， 名 列 应 用 一 体 机 市 场 首 位 ， 当 前 最 新 产品 为 第 4 
代 Exadata X3。 


甲骨 文公 司 在 2008 年 率先 推出 了 业界 首 款 软 硬 件 集 成 设计 的 系统 
Oracle Exadata 数 据 库 云 服务 器 ， 采 用 Oracle 数 据 库 软件 和 惠普 的 硬件 ， 
包括 服务 器 、 存 储 、 网 络 设备 。2009 年 甲骨 文 收购 Sun 之 后 推出 第 二 代 
Exadata V2， 全面 采 用 了 来 自 原 Sun 公 司 的 服务 器 和 存储 等 硬件 架构 ， 
并 在 一 体 机 中 配备 了 当时 非常 先进 的 40Gbps 速 率 的 PnfiniBand 和 PCIe 闪 
存 卡 。2010 年 甲骨 文 推出 的 Exadata X2 有 两 个 型 号 ， 即 X2-2 (数据 库 采 
用 2 路 服务 器 硬件 ) 和 X2-8( 数 据 库 采 用 8 路 服务 器 硬件 ) 。 另 外 ， 
Exadata X2 具 有 硬件 数据 库 加 密 功能 ， 其 每 个 节点 的 内 存 可 达 2TB。 


2012 年 10 月 甲骨 文 发 布 了 第 四 代 Exadata ”X3， 并 称 之 为 内 存 数 据 库 机 

(Database In-Memory Machine)，Exadata X3 大 幅 增 加 了 内 存 和 闪存 容 
量 ， 并 推出 Smart Flash Cache 技 术 ， 以 提升 系统 性 能 。 与 Exadata X2 类 
似 ，Exadata X3 有 了 两 个 型 号 ， 即 X3-2 和 X3-8。 


Exadata X3-2 一 体 机 的 特点 如 下 。 








> 容量 更 大 ， 每 个 X3-2 机 架 可 配 8 个 DB 节点 ，CPU 达 128 核 ， 内 存 
达 2TB，40x10Gb 带 宽 ， 可 配置 14 个 存储 节点 ，168 个 CPU 核心 进行 
SQL 处 理 〈 通 过 Oracle 独 有 的 存储 番 载 技术 ) ; 可 配置 56 个 PCI 闪 存 
卡 ， 组 成 共计 22.4TB 闪 存 容量 ， 可 配置 168 块 600GB 的 15K RPM 高 





性 能 磁盘 ， 或 者 168 个 3TB 的 7.2K RPM 大 容量 磁盘 。 
> 性 能 更 高 ， 智 能 Falsh Write Cache 可 将 写 性 能 提升 20 倍 ， 数 据 吞 
吐 量 《SQL 碍 询 ) 达 100GB/s。 
” 更 节能 ， 每 个 X3-2 机 架 最 大 可 节省 3KW 电 能 消耗 。 
Exadata X3 关 键 软件 技术 : 
” ASM on Exadata， 单 一 表 空间 ， 减 少 90% 的 存储 管理 需求 ; 
” SmartScan， 可 提升 10x 一 100x 碍 询 速度 ; 


” “EHCC 混 合 型 列 压 缩 ， 信 息 密 度 提升 5x 一 50x， 并 提升 查询 速 
度 ; 


扫描 BW + Storage Index， 减 少 90% 以 上 索引 ; 


> Oracle 11G 数 据 库 内 存 管理 、SQL 管 理 、DOP、 并 发 排队 等 新 
技术 ， 减 少 80% 以 上 调 优 工作 ; 


” 云 特性 ， 确 保 回 数据 库 云 方 癌 发展， 符合 未 来 技术 发 展 趋势 。 
基础 设施 一 体 机 Vblock 


Vblock 是 YMware、EMC 和 Cisco 三 家 厂商 合作 推出 的 基础 设施 一 体 机 ， 
其 中 服务 器 和 TOR 交 换 机 为 CISCO 产 品 ， 存 储 为 EMC 产 品 ， 虚 拟 化 软件 
平台 为 VMware 产品 ，Vblock 由 EMC、Cisco、VMware 与 Intel 合 资 的 
VCE 公 司 负责 销售 与 维护 。 


第 一 代 的 Vblock 于 2010 年 中 推出 ， 最 初 分 为 Vblock ”0、Vblock ”1 与 
Vblock ”2 三 个 层级 ， 分 别 涵盖 低 、 中 、 高 阶 应 用 ， 存 储 设 备 分 别 采用 
EMC 的 Celerra、Clariion 及 Symmetrix VMAX 等 型 号 。Vblock 在 2011 年 中 
做 了 改 蒜 ， 推 出 Vblock 300 系 列 取代 了 Vblock 0、1 与 1U， 并 将 Vblock 2 
更 名 为 Vblock 700， 于 是 Vblock 家 族 便 人 简化 为 Vblock 300 与 Vblock 700 两 
个 系列 。 新 的 Vblock ”300 系 列 改 用 EMC 新 推出 的 VNX 系 列 储存 设备 ， 

VNX 是 一 种 能 同时 支持 NAS、FC 与 1SCSI SAN 等 不 同类 型 存 取 功能 的 多 





协议 储存 设备 ， 因 此 以 往 的 Vblock 1 与 1U 的 区 别 也 没有 必要 存在 。 


2012 年 VCE 基 于 新 一 代 Intel CPU 和 EMC 存 储 产 品 推出 Vblock 320 蔡 代 
Vblock300，Vblock “720 蔡 代 Vblock “700， 同 时 推出 针对 SMB 客 户 的 
Vblock 100 和 Vblock 200 ( 见 表 11-3) 。 


表 11-3 ”基础 设施 一 体 机 对 比 

















Vblock 100 Vblock 200 Vblock 320 Vblock 720 
中 型 企业 (中 型 数据 | 云 服 务 提 供 商 /企业 | 云 服务 提供 商 / 企 
应 用 场景 中 小 企业 /远程 /分 支 | 中 心 /核心 IT 基础 设 | (企业 关键 应 用 如 微软 | 业 ( 企 业 关 键 应 用 
WY J i 3 ,村 a i DR 0 、 /山上 AT | | 
机 构 (数据 中 心 /VDD | 施 /VDI/ 微 软 应 用 / 数 | 应 用 /Oracle/SAP/SAP | 如 微软 应 用 /Oracle/ 
据 库 ) HANA) SAP/SAP HANA) 
服务 器 
ym |BXG-A)YDXG-8) 最 大 128 最 大 384 
次 好 
CISCO We Ce 
i 机 架 式 服务 器 C200 M3 长 宽 /全 宽 刀 片 E 宽 /全 宽 刀 片 
服务 器 
~ |VNX3150/ VNX5300/5500/ VMAX 
EMC 存 储 VNX5100 | 
VNX3300 5700/7500 10K/20K/40K 
系统 规模 “| 1(24U 或 42U 机 柜 ) | 1(42U 机 柜 ) 1-8(42U 机 柜 ) 1-28(42U 机 柜 ) 
计算 网 络 Nexus Nexus 5548UP/ 
(CISCO) 2 X Nexus 5548UP/5596UP(10GE) 
2X24 口 3750-X 5596UP(10GE) 
| 5548UP(10GE) 
存储 网 络 . 本 MDS 
MDS 9148(FC) 和 pe 
(CISCO) 9148/9513(FC) 














除了 搭配 VMware 的 vCenter 来 管理 系统 外 ，EMC 专 门 为 Vblock 开 发 了 
Ionix Unified Infrastructure Manager 管 理工 具 统一 管理 Vblock 的 便 件 资源 
分 配 ， 并 与 VMware vCenter、vCloud Director 整合， 提供 对 基础 设施 的 
资源 分 派 、 监 控 与 管理 功能 。 


基础 设施 一 体 机 FusionCube 
华为 FusionCube 是 一 款 将 计算 、 存 储 、 网 络 进行 垂直 整合 的 融合 架构 硬 


件 平台 ， 其 在 12U 的 机 框 内 已 经 预 集 成 了 40GE/100GE 的 以 太 网 和 
InfiniBand， 背 板 总 带宽 可 达 15.6Tbps, 为 整体 融合 架构 提供 了 足够 的 网 











络 市 帘 和 性 能 保证 。1.5U 高 的 刀片 设计 保证 了 单刀 上 户 的 内 存 容 量 两 倍 于 
业界 同类 产品 ， 半 宽 刀 片 〈2 路 四 核 到 8 核 ) 的 设计 大 大 提升 了 计算 密 
度 ， 亦 两 倍 于 业界 同类 产品 。FusionCube 采 用 存储 刀片， 配合 DSware 分 
布 式 存储 引擎 ， 可 蔡 代 传统 的 大 集中 SAN 架 构 ， 同 时 解决 计算 和 存储 的 
灵活 配 比 的 问题 。 


相对 Vblock， 华 为 FusionCube 有 两 个 融合 。 
(1) 计算 和 存储 的 融合 


FusionCube 方 案 取 消 了 存储 的 机 头 ， 直 接 用 服务 器 控制 存储 ， 这 是 计算 
和 存储 的 融合 ， 数 据 存 取 速 度 更 快 。 


(2) 网络 的 融合 


Fusioncube 交 换 机 融合 在 背 板 上 ， 通 过 背 板 的 InfiniBand 总 线 把 计算 和 存 
储 进 行 了 网 状 直 联 ， 速 度 高 达 56Gbps。 


FusionCube 还 能 做 到 统一 管理 。 一 般 来 说 ， 林 管理 运 维 的 成 本 占 到 整体 
成 本 的 65%，FusionCube 能 对 软件 、 人 硬件、 虚拟 化 进行 统一 管理 ， 大 大 
减少 运 维 成 本 。 华 为 的 FusionManager 云 管理 软件 包含 了 功能 强大 的 资 

源 管 理 ， 同 时 提供 了 目 动 发 现 、 安 装 、 部 署 等 功能 ， 为 融合 架构 提供 了 
统一 的 管理 平台 。 除 此 之 外 ， 华 为 云 管理 软件 FusionManager 还 集成 了 

众多 的 自动 化 运 维 功 能 ， 如 一 键 式 部 署 、 基 于 策略 的 管理 等 ， 这 大 大 提 
高 了 运 维 效 率 ， 降 低 了 成 本 。 


基础 设施 一 体 机 Nutanix 


初创 厂商 Nutanix 提 供 的 一 体 机 产品 为 融合 架构 一 体 机 ， 将 服务 器 、 存 
储 和 网 络 集成 到 一 合 服务 器 。 每 个 节点 都 是 一 人 台 x86 服 务 器 ， 每 个 节操 
采用 相同 的 构造 ， 文 持 多 节点 县 加 构建 大 型 的 数据 中 心 ， 该 部 分 采用 了 
Nutanix 分 布 式 存储 和 分 层 存 储 技术 ， 热 数据 存储 在 高 性 能 的 PCIe 内 存 
卡 上 ， 常 用 数据 存在 SSD 上 ， 而 不 常用 的 数据 则 会 被 存在 磁盘 上 。 


Nutanix 一 体 机 产品 具有 简单 、 软 件 定义 以 及 高 可 扩展 三 个 特点 。 


(1)〉 Nutanix 一 体 机 简化 一 体 机 的 结构 。 计 算 与 存储 资源 融合 于 单一 的 
集成 平台 ， 使 得 应 用 和 虚拟 化 团队 能 够 迅速 、 简 便 地 部 署 新 的 虚拟 机 ， 

















而 无 需 配 置 后 端 存储 系统 。 这 也 是 Nutanix 融 合理 念 的 一 部 分 ， 由 于 融 
合 ， 所 以 简单 ， 由 于 简单 ， 所 以 降低 成 本 。 


(2) 其 次 是 软件 定义 ，Nutanix 的 软件 架构 专门 为 虚拟 化 而 设计 ， 并 文 
持 各 种 流行 的 技术 ， 包 括 实时 VM 迁移 、 高 可 用 性 CHA) 、 分 布 式 资源 
调度 DRS) 以 及 容错 拉 术 等 。 同 时 ，Nutanix 软 件 染 构 还 不 限定 管理 程 
序 ， 可 支持 VMware vSphere 和 KVM， 以 及 各 种 行业 标准 的 管理 系统 。 
整个 的 Nutanix 虚 拟 计算 平台 在 其 软件 架构 的 文 持 下 可 以 实现 一 种 全 面 
集成 的 系统 ， 可 应 对 任意 规模 的 虚拟 工作 负载 。 


(3) 高 可 扩展 。Nnutanix 宣 称 架 构 无 需 停 机 束 可 以 无 颖 地 添加 其 他 
Nutanix 节 点 ， 并 且 由 于 都 采用 同样 的 节点 ， 所 以 扩展 操作 十 分 简便 。 


11.3 ”一 - 场 、 趋势 
11.3.1 一 体 机 市 场 趋势 


一 体 机 是 模块 化 数据 中 心 的 建设 基石 


基础 设施 的 业务 价值 取决 于 其 支撑 的 开业 务 需 求 。 随 着 新 技术 如 虚拟 化 
和 云 计 算 的 运用 ， 各 种 业务 流 逐 洁 工 化 ， 数 据 中 心 的 数据 量 因 此 快速 增 
长 。 数 据 中 心 的 发 展 聚 焦 于 : 能 够 快速 部 署 业务 ， 数 据 中 心 内 各 厂家 设 
备 能 够 统一 维护 ， 数 据 中 心 基础 设施 能 扩容 ， 数 据 中 心 能 维持 高 水 平 的 
资源 利用 率 ， 实 现 更 低 的 TCO。 


传统 数据 中 心 将 来 自 不 同 供应 商 的 、 类 型 迎 异 的 组 件 进 行 定制 设计 ， 在 
现场 组 合成 一 个 独特 的 大 型 基础 设施 系统 。 由 于 这 种 方式 工作 量 大 ， 周 
期 长 ， 基 础 设施 维护 复杂 ， 调 整 困难 ， 因 此 无 法 满足 IT 业务 对 于 数据 中 
心 的 需求 。 近 年 来 ， 客 户 对 于 模块 化 数据 中 心 的 呼声 越 来 越 高 。 


一 体 机 产品 出 现 后 ， 由 于 其 部 署 周期 短 ， 维 护 统 一 ， 易 于 扩展 ， 业 务 预 
集成 、 调 测 等 特点 ， 正 适合 作为 数据 中 心 的 模块 化 建设 的 基石 。 业 界 普 
遍 预 测 ， 一 体 机 年 增长 率 将 达到 40%， 远 高 于 数据 中 心 各 类 分 散 产品 
《如 服务 器 、 存 储 、 网 络 设 备 ) 的 增长 率 。 到 2016 年 ， 一 体 机 市 场 空间 
将 达到 约 180 亿 美元 ， 约 占 整个 数据 中 心 市 场 的 15%。 


一 体 机 需 针 对 各 类 客户 提供 差异 化 产品 形态 











(1) 中 小 企业 (简称 为 SMB) 


这 类 企业 的 IT 设施 规模 不 大 ， 但 IT 应 用 种 类 丰 语 ，IT 维 护 人 员 少 ， 对 成 
本 和 设备 的 性 价 比 很 敏感 。 因 此 ，SMB 需 要 小 规模 、 架 构 简 单 、 性 价 比 
高 的 一 体 机 产品 。 


(2) 大 企业 


这 类 企业 的 IT 设施 规模 较 大 ，IT 应 用 规模 和 种 类 较 多 ， 对 于 IT 设施 的 可 
靠 性 、 扩 展 性 、 维 护 性 要 求 较 多 ， 拥 有 专业 的 、 经 验 较为 丰富 的 开 维护 
人 员 。 大 企业 往往 需要 较 大 规模 、 架 构 容易 扩展 、 可 徘 性 局 的 一 体 机 产 


口 口 


(3) 服务 提供 两 


服务 提供 商 主 要 指向 企业 或 最 终 客户 提供 电信 业务 、 互 联网 业务 、 数 据 
中 心 外 包 等 业务 的 提供 商 ， 这 类 企业 的 IT 设施 规模 大 ， 提 供 专业 的 服务 
和 应 用 ， 需 要 帮助 其 快速 推出 业务 ， 应 对 业务 快速 增长 ， 为 最 终 客户 提 
供 高 性 能 体验 的 IT 基础 设施 。 服 务 提 供 商 本 喘 拥 有 大 量 专 业 的、 经 验 丰 
富 的 各 种 设施 IT 维护 人 员 。 

服务 提供 商 往 往 需 要 大 规模 、 分 布 式 架构 、 容 易 扩 展 、 可 靠 性 高 、 能 快 
速 推出 业务 的 一 体 机 产品 ， 例 如 由 高 密度 服 务 器 、 分 布 式 存储 、 大 流量 
区 换 机 组 成 的 入 殖 一 体 栅 ， 并 且 可 以 很 据 应 用 需求 定制 专门 的 一 体 机 产 
HH o 


























(4) 超大 规模 业务 提供 商 

超大 规模 业务 提供 商 主 要 指 一 些 全 球 性 的 业务 提供 商 ， 例 如 搜索 巨头 
Google， 电 子 商 务 兼 云 计 算 服 务 提供 商 Amazon， 这 些 全 球 性 I 业务 已 
头 拥 有 大 量 IT 研 发 工程 师 和 维护 工程 师 ， 可 自己 开发 业务 系统 ， 因 此 往 
往 需 要 定制 硬件 ， 通 常 不 会 采用 一 体 机 。 


未 来 一 体 机 的 市 场 增长 主要 来 源 于 有 持续 需求 的 大 企业 、 数 量 众多 的 
SMB 和 需要 超大 规模 一 体 机 的 服务 提供 商 。 


一 体 机 需 满 足 各 种 类 型 企业 应 用 
构筑 于 数据 中 心 之 上 的 企业 开 信 息 系 统 需 支 持 各 种 类 型 IT 应 用 ， 例 如 














VDI 应 用 。 各 类 应 用 对 于 性 能 需求 不 同 ， 对 于 计算 、 网 络 、 存 储 资 源 要 
求 和 可 靠 性 要 求 也 不 同 。 例 如 由 于 Web ” Server 的 网 络 流 量 大 ， 连 接 数 
多 ， 因 此 对 网 络 资源 消耗 大 ， 而 对 计算 能 力 要 求 不 高 ， 由 于 应 用 服务 器 
需要 人 处理 各 种 业务 逻辑 ， 因 此 对 计算 能 力 要 求 高 ， 对 网 络 资源 消耗 相对 


较 少 。 


一 体 机 需 具 备 以 下 特 反 : 








” 灵活 分 配备 类 资源 ， 满 足 各 类 应 用 的 不 同 资源 需求 ; 
” 具有 业务 SLA 保 障 机 制 ， 保 证 各 类 业务 的 服务 质量 ; 
” 快速 部 署 业 务 的 能 力 ， 例 如 业务 部 署 模 板 ; 

” 灵活 扩容 业务 的 能 


> 完善 的 可 靠 性 机 制 ， 以 最 优 性 价 比 方案 提供 各 种 应 用 对 于 
RTO/RPO 的 需求 。 


1 趋势 
新 硬件 介质 


随 痢 时 间 演 进 ， 新 介质 存储 容量 持续 高 速 增长 ， 而 随 着 技术 及 工艺 的 演 
进 ， 新 介质 性 能 同 更 好 的 方 癌 及 展 。 


未 来 对 DDR _RAM 了 形成 替代 的 技术 包括 STT MRAM、PCM 和 FeRAM， 
未 来 对 Nand Flash 形 成 替代 的 技术 包括 PCM 和 ReRAM。 


ReRAM 结 构 简 单 ， 易 于 进行 3D 堆 禾 ， 可 以 实现 大 容量 产品 。 其 读 写 速 
度 、Endurance 优 于 NAND， 但 低 于 STT-MRAM， 主 要 定位 为 取代 
NAND Elash。 当 前 阶段 还 没有 商业 化 的 ReRAM 产 品 ， 预 计 最 早 的 商业 
产品 会 在 2015 年 出 现 。ReRAM 容 量 小 、 成 本 高 ， 主 要 在 NV Cache、 集 
成 内 存 、 价 格 不 敏感 等 应 用 场景 下 使 用 。 在 2017 年 以 后 ，ReRAM 产 品 
0 同时 价格 低 于 NAND， 从 而 成 为 主要 大 容量 存储 
介质 。 











PCM 当 前 的 主要 产品 是 Nor _ Flash 接口， 最 新 的 45nm PCM 性 能 较 65nm 
Nor Flash 提 升 较 多 ， 成 本 较 SRAM 有 较 大 优势 〈 每 GB4.5 美 元 ) ， 价 格 
约 为 SLC 的 10 倍 左右 (NAND Flash SLC 成 本 为 每 GB4.5 美 元 ) 。 目 前 ， 
PCM 在 智能 电表 等 对 写 速 度 要 求 不 高 的 场景 中 可 以 取代 串 行 SRAM。 


STT-MRAM 具 有 高 数据 刷新 率 、 无 限 次 存 写 、 高 读 写 速度 以 及 低能 
和 非 易 失 性 等 特点 ， 有 望 取 代 DRAM， 预 计 STT-MRAM 上 市 初期 目标 
可 接近 DRAM 的 成 本 ， 比 NAND 的 成 本 高 出 10 倍 ( 见 表 11-4、 表 11- 
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易 失 类 型 
( 掉 电 丢失 ) 











表 11-4 数据 易 失 类 型 与 非 易 失 类 型 


大 规模 量 产 


SRAM、DRAM、PSRAM 





起 步 阶 段 (特定 场景 ) 


浮 体内 存 





峰 易 失 类 型 
( 掉 电 不 丢失 ) 


大 规模 量 产 


NOR、 NAND、 EPROM、~ EEPROM、~ Mask ROM 





小 规模 量 产 


MRAM、FRAM 








起 步 阶 段 (特定 场景 ) 





PRAM、MRAM、PRAM、 赛 道内 存 


表 11-5 ”存储 介质 时 延 、 擦 写 次 数 比 较 











分 类 读 写 时 延 P/E Cycle( 编 程 / 擦 除 周期 ) 备 注 
SRAM 5 纳 秒 /5 纳 秒 105 
STTMRAM |20 纳 秒 /20 纳 秒 10” STR 
T a i 可 按 字 节 设 定 地 址 
DDR3 30 纳 秒 /15 纳 秒 10 
PCM 50 纳 秒 /120 纳 秒 10° 











( 续 表 ) 





























分 类 | 读 写 时 延 P/E Cycle( 编 程 / 擦 除 周期 ) 备注 
ReRAM |50 微 秒 50 纳 种 io i 员 
PCM-S | 50 纳 秒 /120 纳 秒 10° 
SLC | 25 微 秒 /200 微 秒 10; 
Emlc | 50 微 秒 /1200 微 秒 10’ 可 按 地 址 块 设 定 地 址 
MLC | 50 微 秒 /800 微 秒 10? 
SAS 15k | 3 毫秒 /3 毫秒 10 
SAS 10k [3 毫秒 /5 毫秒 10° 
融合 和 简化 


IT 系统 的 发 展演 变 从 最 初 的 大 一 统 分 化 成 服务 器 、 存 储 、 网 络 等。 如 
今 ， 融 合 的 趋势 将 越 来 越 明显 。 


融合 的 概念 最 早 是 指 一 个 集 服务 器 、 网 络 、 存 储 以 及 管理 软件 于 一 体 的 
整体 解决 方案 ， 这 一 理念 迅速 被 业内 接受 ， 目 前 儿 乎 主流 的 三 商 均 推出 
具有 各 目 技术 特点 的 融合 基础 架构 〈 或 者 说 “一 体 机 ?) 产品 ， 并 且 这 一 
市 场 也 开始 悄然 兴起 。 据 IDC 在 2013 年 的 十 大 预测 中 提 到 ， 在 未 来 几 
年 ， 企 业 数 据 中 心服 务 器 659% 都 会 永 用 融合 基础 设施 的 设备 。 可 以 说 ， 
这 一 市 场 前 景 广阔 。 


一 体 机 中 的 融合 技术 有 几 个 方 同 。 
(1) 计算 /存储 融合 〈 代 表 广 商 : 华为 FusionCube) 


华为 FusionCube 采 用 独 有 的 计算 和 存储 融合 技术 ， 将 标准 服务 器 上 本 地 
友信 组成 应 拟 的 SAN 存 依次 源 ， 无 需 外 置 SAN 设 备 就 可 以 提供 计 算 和 丰 
请 能 


计算 存储 融合 带 来 了 更 高 性 能 。 在 传统 的 IT 架构 中 ， 服 务 器 与 存储 分 离 
导致 计算 节点 只 能 通过 机 头 以 囊 行 的 方式 访问 数据 ， 效 率 较 低 。 
FusionCube 一 体 机 通过 在 刀片 服务 器 中 部 署 分 布 式 存储 引擎 ， 将 计算 节 
点 串 行 访问 数据 的 方式 改 为 并 行 访问 ， 由 此 能 够 同时 从 多 个 节点 的 本 地 
存储 中 获取 数据 ， 减 少 访问 时 延 


计算 存储 融合 可 实现 管理 简单 与 一 体 化 运 维 。 以 往 ， 企 业 在 进行 全 基础 
架构 设计 时 ， 需 要 考虑 服务 器 选 型 、 软 硬件 兼容 性 验证 等 工作 ， 会 耗费 




















大 量 的 时 间 和 精力 。 而 在 FusionCube 一 体 机 中 ， 企 业 看 到 的 不 再 是 单独 
的 服务 右 、 存 储 设备 、 网 络 ， 而 是 一 个 软 硬 件 资源 深度 整合 的 融合 系 
统 ， 由 此 减少 方案 设计 的 工作 量 ， 降 低 方案 设计 的 复杂 上 度 。 到 了 建设 环 
节 ，FusionCube 一 体 机 已 经 实现 软 人 硬件 的 预 集成 、 预 安装 和 预 验 证 ， 可 
一 次 性 完成 安装 部 署 ， 改 变 了 以 往 不 同 厂 商 多 次 现场 安装 设备 的 方式 ， 
降低 了 和 人力 资源 的 成 本 ， 现 场 安装 时 间 也 由 原来 的 7 天 缩短 为 2 小 时 ， 实 
现 “ 家 电 式 ”安装 。 在 预 集成 方面 ，FusionCube 一 体 机 直接 把 产品 的 操作 
经 验 固 化 成 模板 ， 然 后 内 置 于 IT 系统 ， 人 允许 系统 目 动 处 理 各 种 基础 而 耗 
时 的 工作 ， 从 而 将 IT 应 用 部 署 的 时 间 缩 短 为 6 小 时 ， 运 维 工作 量 减 少 
609%6。 正 是 由 于 FusionCube 一 体 机 将 软 硬 件 系统 充分 地 融合 在 一 起 ，IT 
运 维 人 员 不 再 需要 特别 关注 某 一 个 软件 或 硬件 ， 而 更 聚焦 于 开 系 统 的 整 
体 性 能 和 用 户 体验 。 


(2) 计算 和 网 络 融 合 ( 代 表 厂 隘 及 产品 : CISCO，UCS) 


0 0 
络 优势 。 


> 可 人 靠 性 


UCS 的 架构 与 普通 刀片 不 一 样 。 刀 片 机 箱 内 无 交换 设备 ， 刀 片 机 箱 的 网 
络 连 到 Gisco UCS 6120XP 端 口 互 联 阵列 设备 上 ，6120XP 工 作 在 end-host 
模式 。 在 配置 刀片 和 6120XP 连 接 时 ， 用 户 可 以 指定 某 块 网 卡 连 到 特定 

的 6120XP。 这 条 链 路 上 任何 一 个 部 件 出 现 故障 (6120XP 本 身 、 机 箱 到 

6120XP 的 连 线 、6120XP 到 上 行 交 换 机 的 连 线 或 者 是 上 行 交换 机 本 

身 ) ， 刀 片 服务 器 上 的 网 卡 会 自动 切换 到 男 一 条 链 路 ， 而 且 切 换 过 程 不 
丢 包 ， 保 证 业务 的 连续 性 。 


(3) 简化 运 维 管 理 


UCS 采 用 了 Service Profile 和 无 状态 计算 概念 ， 所 有 刀片 服务 器 在 没有 配 
置 前 均 可 视 为 裸 机 ， 因 此 刀片 服务 器 的 物理 位 置 或 者 插入 哪个 机 箱 已 经 
不 再 重要 ， 这 样 就 为 跨 机 箱 的 服务 妖 见 余 做 好 物理 上 的 准备 。 


当 用 户 设 置 了 Server Pool， 并 将 某 个 配置 文件 关联 到 此 Server Pool 时 ， 
该 配置 文件 会 自动 寻找 第 一 个 可 用 的 服务 器 资源 ， 并 与 它 做 关联 。 当 该 
服务 器 损坏 时 ， 配 置 文件 会 继续 寻找 第 二 个 可 用 服务 吉 资 源 并 目 动 与 之 
关联 。 由 于 配置 文件 中 规定 了 服务 器 的 物理 参数 ， 如 MAC 地 址 、WWN 























地 址 、VLAN 和 vSAN 的 连接 、boot order 等 各 项 参数 ， 新 的 服务 器 (也 
称 备 机 〉 就 会 具有 和 老 服务 器 一 样 的 物理 参数 ， 由 此 ， 无 需 在 网 络 和 
SAN 设 备 上 做 任何 重新 设置 ， 备 机 就 具有 老 服 务 器 的 所 有 特性 ， 如 果 采 
人 
下 


(4) 应 用 和 基础 设施 的 融合 (代表 厂家 和 产品 : HP，CloudSystem ) 


类 似 机 架 或 者 刀片 等 通用 服务 器 在 一 定 程 度 上 并 不 能 帮助 用 户 实 现 效率 
最 大 化 ， 效 率 必 须 与 应 用 挂钩 。Windows、ERP、 电 子 邮 件 或 者 数据 库 
应 用 对 于 性 能 的 需求 是 不 一 样 的 ， 有 的 应 用 可 能 要 求 内 存 较 大 ， 有 的 则 
再 要 存储 空间 较 大 ， 而 有 些 则 可 能 对 带宽 有 较 高 要 求 ， 通 用 服务 器 并 不 
能 完全 满足 这 些 细致 的 需求 。 尺 管 现在 服务 器 三 商都 在 一 定 程度 上 提供 
个 性 化 选择 ， 但 这 并 没有 做 到 极致 。 


患 普 希 望 在 这 方面 的 创新 能 够 帮助 用 户 最 大 程度 地 优化 全 资源 ， 例 如 大 
规模 采用 ARM 架 构 的 服务 器 ， 在 同一 块 主板 上 集成 6 个 服务 器 的 高 密度 
服务 器 等 (编者 注 : 这 并 不 代表 惠普 未 来 会 推出 具体 的 产品 ) ， 但 惠普 
更 加 强调 的 是 与 应 用 结合 ， 即 为 用 户 提 供 最 佳 实践 。 


将 代 基 础 设施 与 应 用 相 结 合 必 然 要 涉及 第 三 方 软件 服务 提供 商 

GSV) ， 在 通用 软件 方面 ， 惠 普 与 广泛 的 ISV 有 着 深入 的 合作 。 在 这 
方面 ， 惠 普 提 出 帮助 用 户 快速 建立 应 用 系统 架构 的 口号 ， 通 过 了 解 用 户 
的 实际 应 用 需求 ， 结 合 惠 普 的 经 验 和 整个 业界 的 最 佳 实践 ， 为 用 户 提 供 
模板 信息 ， 例 如 构建 一 个 具有 一 定 规模 的 Web 服 务 需 要 的 CPU 数 量 、 内 
存 大 小 、 存 储 空间 以 及 带宽 大 小 等 建议 信息 。 在 应 用 层面 ， 可 以 通过 应 
i 
以 用 。 


(5) 开放 /标准 化 


在 一 体 机 被 市 场 接受 的 过 程 中 ， 其 是 否 会 被 供应 商 锁定 的 质疑 也 是 一 直 
仓 人 在。 业界 和 /家 在 试图 参 开放 接口 、 开 放 标 准 的 方 同 来 解决 这 个 质 
疑 。 



































文 持 OpenStack 一 体 机 的 三 家 代表 产品 为 华为 FusionCube。 
华为 FusionCube 采 用 OpenStack 的 架构 ， 把 自己 的 存储 、 服 务 器 、 虚 拟 


化 产品 做 开放 式 接 入 。 从 客户 角度 来 看 ， 不 需要 像 以 前 那样 全 套 购买 华 
为 的 产品 ， 因 为 通过 OpenStack， 第 三 方 软件 可 以 通过 调用 OpenStack 
API 来 提供 服务 。OpenStack 可 通过 各 个 模块 调用 华为 或 第 三 方 提供 的 存 
储 、 网 络 、 虚 拟 化 等 能 力 。 比 如 ， 用 户 可 以 同时 使 用 如 VMware 的 
Hypervisor 和 华为 的 Hypervisor。 这 样 ， 在 OpenStack 的 架构 里 ， 华 为 只 
是 其 中 一 部 分 的 能 力 提供 方 ， 客 户 不 会 被 一 家 所 绑 定 。 


开源 和 开放 的 API 不 仅 让 用 户 免 于 Lock-in， 同 时 能 减少 运 维 等 维护 复杂 
度 ， 降 低 成 本 。 例 如 在 运 维 方面 ， 通 过 开放 的 API， 用 户 可 以 选择 第 三 
方 的 工具 或 开源 软件 ， 让 企业 的 基础 设施 管理 不 会 被 绑 定 。 同 时 ， 企 业 
能 够 灵活 至 受 云 化 后 带 来 的 好 处 ， 降 低 云 化 之 后 带 来 的 复杂 性 。 


云 计 算 的 概念 已 经 炒作 了 很 多 年 ， 各 种 云 计算 的 相关 概念 风 生 水 起 ， 志 
界 各 大 IT 公司 ， 各 种 创业 公司 都 投入 云 计 算 中 ， 但 是 云 计算 目前 的 实施 
效果 并 不 如 意 ， 对 于 云 计 算 的 准确 样子 仍然 没有 一 个 明晰 的 定论 。 然 
而 ， 不 管 有 什么 困难 ， 有 一 点 始终 像 忆 明灯 一 样 地 照 溜 着 我 们 ， 那 就 是 
云 计算 的 终极 愿景 ， 和 希望 人 们 像 用 水 用 电 一 样 随 时 随地 地 使 用 信息 服 
务 。 只 要 坚持 这 个 愿景 ， 以 这 个 愿景 来 衡量 ， 一 切 与 云 计算 相关 的 概念 
和 技术 是 否 符 合 历史 的 潮流 都 会 一 目 了 然 。 

本 书 的 范围 仪 是 聚焦 于 云 计算 的 laaS 层 ， 聚 焦 于 提供 基础 设施 的 厂家 如 
何 构造 一 个 满足 云 计 算 需 要 的 共享 资源 池 ， 这 个 共享 资源 池 能 够 给 上 层 
的 平台 层 、 应 用 层 提 供 随 要 随 给 的 资源 ， 以 实现 云 计算 的 终极 目标 。 那 

， 要 满足 这 样 的 目标 ， 有 几 大 技术 是 基础 的 ， 也 是 必须 的 。 


么 
这 些 技术 具体 如 下 。 








” 计算 虚拟 化 : 开 服 务 的 核心 束 是 提供 计算 服务 ， 如 何 最 好 地 将 
各 种 小 的 物理 计算 资源 构成 大 的 计算 池 ， 随 之 又 按照 需要 分 配给 申 
请 者 ， 并 进行 动态 的 资源 管理 。 


” 存储 虚拟 化 : 开 服 务 的 另外 一 个 核心 就 是 存储 ， 所 有 的 信息 必 
须 能 够 保存 下 来 才 有 意义 。 保 存 分 为 暂时 的 保存 和 永久 的 保存 。 存 
储 方面 义 有 几 大 必须 解决 的 难题 : 


。 如 何 提高 7O 能 力 ， 保 证 尽 可 能 大 的 读 写 市 宽 ; 

。 如 何 做 到 不 同 存储 广 家 异 构 资 源 的 融合 ; 

。 如 何 针对 不 同 的 应 用 智能 满足 客户 的 需求 ， 存 储 资 源 是 有 限 的 ， 存 
和 
最 好 利用 。 


” 网络 虚拟 化 : 当 所 有 的 企业 和 个 人 都 随时 随地 地 访问 云 服务 
时 ， 网 络 的 复杂 性 一 定 是 以 指数 增长 的 。 那 么 ， 这 个 虚拟 网 络 如 何 
on 
之 扣 。 








” 虚拟 化 安全 : 随时 随地 的 访问 ， 需 要 无 处 不 在 的 安全 防护 。 接 
入 访问 需要 安全 ， 数据 在 二 网 时 中 流动 过 要 安全 ， 云 数据 在 CPU 处 
理 时 需要 安全 ， 云 数据 在 存储 池 中 保存 时 也 需要 安全 。 


” 分 布 式 集群 .随时 随地 的 访问 意味 着 提供 基础 服务 的 硬件 设施 
一 定 是 分 布 式 集群 组 成 的 系统 ， 否 则 不 可 能 给 所 有 访问 的 用 户 提 供 
服务 。 这 个 集群 需要 多 大 ， 采 用 多 少 层级 ， 如 何 进行 区 域 性 的 调 
动 ， 都 是 需要 解决 的 难题 。 


” 肛 构 资源 融合 或 标准 化 : 目前 有 很 多 的 IT 人 硬件 三 家 ， 他 们 所 研 
发 的 服务 器 、 存 储 设备 、 网 络 设备 成 干 上 万 ， 异 构 资源 必须 能 够 融 
合 ， 人 否则 云 计算 的 共 吾 资源 池 无 从 谈 起 。 融 合 有 两 条 路 ， 第 一 条 ， 
每 个 广 家 者 遵循 一 个 接口 规范 来 设计 和 制造 服务 需 、 存储 设备 和 网 
络 设备 ; 第 二 条 ， 设 计 一 个 计算 、 存 储 、 网 络 融合 的 单一 设备 ， 这 
个 单一 设备 有 一 致 的 接口 ， 可 以 像 搭 标准 积木 一 样 部 署 出 超大 的 云 
计算 资源 系统 。 


展望 未 来 ， 在 云 计 算 基 础 设施 领域 有 几 大 技术 趋势 ， 这 几 个 技术 的 深度 
实现 将 有 助 于 云 计算 真正 走 癌 干 家 万 户 。 


” 内 存 计算 : 在 未 来 的 世界 ， 实 时 计算 、 实 时 决策 才 是 王道 ， 而 
要 达到 如 此 的 效果 ， 必 然 会 走 回 内 存 计 算 。 所 有 的 数据 和 计算 全 部 
保存 在 内 存 中 ， 通 过 内 存 集群 和 高 速 网 络 保证 高 性 能 ， 数 据 有 多 个 
异地 副本 ， 可 解决 可 靠 性 问题 ， 传 统 的 基于 磁盘 或 者 磁带 的 存储 ， 
在 系统 正常 运行 时 不 再 参与 到 主 业 务 流程 中 ， 更 多 的 是 作为 一 个 备 
(on 站 质 ， 在 内 存 突然 全 部 故障 的 情况 下 ， 将 内 存 数据 全 部 恢复 出 




















” 超大 集群 技术 : 个 时 是 着 个 估 型 路 国企 业 ， 还 是 提供 云 服 务 的 
云 服 务 商 ， 在 现代 信息 爆炸 的 时 候 ， 需 要 的 系统 规模 都 会 越 来 越 
大 。 那 么 ， 如 此 巨大 的 系统 如 何 高 效 安全 地 建立 连接 ， 如 何 高 效 快 
速 地 进行 资源 的 发 放 和 回收 ， 如 何 保证 系统 整体 的 最 优 ， 如 何 给 出 
一 个 有 效 的 建 模 和 仿真 ， 这 些 都 是 很 困难 的 问题 。 


-~ 物 联 网 扩 术 : 即使 云 计算 平台 作为 一 个 计算 中 心 解决 了 数据 计 
算 和 决策 的 过 程 ， 但 是 如 果 没 有 对 各 种 终端 设备 的 有 效 接 入 和 连 
接 ， 我 们 仍然 无 法 做 出 对 现实 世界 实时 的 反应 ， 因 此 物 联 网 技术 也 


古 云 计算 走 同 深入 发 展 后 的 必然 需求 ， 例 如 汽车 上 的 各 种 移动 传 感 
髓 、 个 人 身上 携 珊 的 各 种 健康 和 移动 传感器 、 家 用 电器 的 统一 健康 
状态 监控 传感器 、 市 政 基 础 设施 的 健康 传感器 《〈 路 灯 状 态 、 红 绿灯 
状态 、 井 水 盖 状 态 、 下 水 道 状 态 等 ) 、 智 能 楼 宇 的 各 种 传感器 
(水 、 电 、 煤 气 等 的 使 用 和 健康 状态 ) ， 等 等 。 当 各 种 各 样 的 接 入 
终端 设备 的 数据 源源 不 断 地 传送 到 数据 中 心 后 ， 基 于 内 存 大 集群 的 
云 数 据 中 心 就 会 非常 快速 地 计算 出 系统 的 故障 所 在 ， 给 出 故障 纠正 
普 施 ， 并 通过 云 网 络 反馈 到 智能 终端 ， 迅 速 做 出 调整 ， 消 灭 故 障 或 
者 避免 更 大 的 事故 发 生 。 














ACM 
SIGCOMM 


Authentication、Authorization 、 和 
Accounting 


FT 


ACM: Association for Computing 

Machine， 美 国 计 算 机 协会 SIGCOMM 是 ACM 组 织 在 通信 网 络 领 域 的 旗舰 
SIGCOMM: Special Interest Group | 型 会 议 ， 也 是 目前 国际 通信 网 络 领域 的 顶尖 会 
on Data Communication， 数 据 通 信 | 议 ， 由 ACM SIGCOMM 组 织 举办 





Windows Aero 是 从 Windows Vista 开 始 使 用 的 新 型 
Reflective( 反 射 ) 及 Open( 开 阔 ) 用 户 界面 ， 透 明 玻 璃 感 让 用 户 一 眼 贯 穿 
和 

ET 


Address Resolution Protocol 地 址 解析 协议 


英特尔 @ 凌 动 TY 处 理 器 ， 是 Intel 的 一 个 超 低 电 


Basic Input/Output System 基础 输入 输出 系统 
Business Operating Support System ”| 业务 运营 支撑 系统 
Business Support System 业务 支撑 系统 


Changed Block Tracking 改变 数据 块 跟踪 
Complex Event Processing 复杂 事件 处 理 


Challenge Handshake Authentication| 、、 py 、 
询问 握手 认证 协议 
Protocol 


TT 
i 一 种 无 阻塞 交换 架构 的 名 称 ， 源 于 发 明 者 
Architecture 


Continuous Query Laneuage 连续 查询 语言 
Customer relationship management “| 客户 关系 管理 


( 续 表 ) 


缩 略 语 
DaaS 
DAS 
DB 
DC 


DevOps 





rm 


Desktop as a Service 桌面 即 服务 
ER 

DataBase 数据 库 

Data Center 数据 中 心 


DevOps 是 一 组 过 程 、 方 法 与 系统 的 统称 ， 用 
于 促进 开发 (应 用 程序 /软件 工程 )、 技 术 运 营 
英文 Development 和 Operations 的 和 质量 保障 (QA ) 部 门 之 间 的 沟通 、 协 作 与 整 
组 合 合 ; 它 的 出 现 是 由 于 软件 行业 日 益 清 晰 地 认识 
到 ， 为 了 按时 交付 软件 产品 和 服务 ， 开 发 和 运 
营 工 作 必须 紧密 合作 

Dynamic Host Configuration Protocol | 动态 主机 配置 协议 

distributed Hash table 分 布 式 哈 希 表 


Distributed Power Management 分 布 式 电源 管理 
Distributed Resource Scheduler 动态 资源 调度 


Digital Signal Process 数字 信号 处 理 器 
微软 公司 建立 的 一 系列 专 为 多 媒体 以 及 游戏 开 
发 的 应 用 程序 编程 接口 
Elastic Block Store 弹性 块 存储 
Elastic Compute Cloud 弹性 计算 云 
Equal-Cost Multi-Path routing 等 价 多 路 径路 由 
ET 
End of Interrupt 中 断 结 束 


Extended Page Table 页 表 扩 充 技术 
Enterprise Resource Planning 企业 资源 计划 


Event Stream Processing 事件 流 处 理 

用 来 描述 将 数据 从 来 源 端 经 过 芋 取 (extract)、 
转 置 (transform)、 加 载 (load) 至 目的 端的 过 程 

Elastic Virtual Switch 虚拟 交换 机 


Fibre Channel 光纤 通道 


Fault. Configuration, Accounting, | 表示 网 络 管理 的 五 种 基本 功能 的 缩写 : 故障 、 





Performance, Security 配置 、 计 费 、 性 能 、 安 全 管理 
A 
Graphics Device Interface 图 形 设 备 接口 


Global Descriptor Table 全 局 描述 符 表 


( 续 表 ) 


三 克 而 
Gs GE 


GPA Guest OS Physical Address 客户 操作 系统 的 物理 地 址 
GPS Global Positioning System 全 球 定位 系统 

GPU Graphics Processing Unit 形 处 理 器 
ET 加 2 

GVA Guest OS Virtual Address 客户 操作 系统 的 虚拟 地 址 
HA/FT High Availability/Fault Tolerance 高 可 用 性 /容错 


HDD ioriDikDrive | 

HDFS Hadoop 分 布 式 文件 系统 
HPA 宿主 操作 系统 的 物理 地 址 
EPC |ieh Periommance Compuiing | 商 性 能 计算 


HRM Human Resource Management 人 力 资源 管理 

HTML HyperText Markup Language 超 文本 标记 语言 

HTTP/HTIPS 超 文 本 传输 (安全 ) 协 议 

I2RS Intertace to Routing System 路 由 系统 接口 

IaaS Infrastructure as a Service 基础 设施 即 服务 

ICA Independent Computing Architecture ”| 独立 计算 架构 ， 思 杰 公 司 开 发 的 远程 桌面 协议 


ICP Intemet Content Provider 互联 网 内 容 提 供 商 
计 和 


IDT Interrupt Descriptor Table 中 断 描述 符 表 
IETT 互联 网 工程 任务 组 
IF Interface. IF1 IF2 IF3…- 接口 缩写 代号 
iNIC Intelligent Network Interface Card ”| 智能 网 卡 

LO Input and Output 输入 输出 


pe ee Memory Management 输入 输出 内 存 管理 单元 


IOPS Input/Output Operations Per Second | 每 秒 读 写 (IO) 抬 作 的 次 数 
IPAM IPAddress Management 下地 址 管理 


Intelligent Plattorm Management 
IPMI 本 本 智能 平台 管理 接口 
Interface 


IRF Intelligent Redundant Framework 智能 元 余 框 架 


1 -to-Int ediat Ne 


TI 加 
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LAMP 


NVGRE 


Ci 


Independent Software Vendor 独立 软件 开发 商 


Key Performance Indicators 关键 绩效 指标 
Kemel Samepage Merging 内 核 同 页 合并 


LAMP 是 指 一 组 通常 一 起 使 用 来 运行 动态 网 站 
或 者 服务 器 的 自由 软件 名 称 首 字母 缩写 : 其 
中 工 指 Linux， 为 操作 系统 ，A 指 Apache， 为 网 
页 服务 器 ，M 指 MariaDB 或 MySQL， 为 数据 库 
Linux, Apache, MySQL, PHP 管理 系统 (或 者 数据 库 服务 器 )，P 指 PHP、Perl 
或 Python， 为 脚本 语言 ，PHP 用 于 编辑 网 页 ， 
网 页 运行 在 Apache 软 件 上 ， 网 页 的 数据 来 自 
MySQL，Apache 和 MySQL 安装 在 Linux 控 作 系 
统 上 


Load Balance Server 负载 均衡 服务 器 


Lightweight Directory AcceSss| Ne ep 
轻型 目录 访问 协议 
Protocol 


Logical Unit Number 逻辑 单元 号 
Megabyte Per Second 兆 字 节 每 秒 





Multi Media Extension 多 媒体 扩展 
Memory Management Unit 内 存 管 理 单元 
Massively Parallel Processing 大 规模 并 行 处 理 
RN 
Network File System 网 络 文件 系统 


和风 和 


NVDIMM 是 在 一 种 集成 了 DRAM 和 非 易 失 性 
i 内 存世 片 的 内 存 条 规格 ， 能 够 在 完全 汤 电 的 时 
候 依 然 保存 完整 的 内 存 数 据 


tv Virtualization Using Genen 
Network Virivalization Using Generic | 采用 通用 路 由 封装 的 网 络 虚拟 化 
Routing Encapsulation 


Non-Volatile Random Access Memory | 非 易 失 性 随机 访问 存储 器 
Oflice Automation 办 公 自 动 化 


Non- Volatile Dual In-line Memory 
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全 称 说 阴 


Operations, Administration, and| 、 
bh ail 
Maintenance 


Object-Based Storage 对 象 存储 

On-Line Analvtical Processing 在 线 分 析 处 理 

On-Line Transaction Processing 联机 事务 处 理 
ET 
Ta 
开放 图 形 库 定义 跨 程序 语言 、 路 平台 的 应 用 程 

序 接口 (API) 的 规范 ， 用 于 生成 二 维 、 三 维 图 像 

人 
a 
mR 
开放 虚拟 交换 机 数据 库 管理 协议 
En 
ET 
外 设 互联 标准 或 个 人 电脑 接口 
TP 
A 
i 

Physical Function 物理 功能 
TA 

Physical Machine 物理 主机 

TR 

Power Usage Effectiveness 能 源 使 用 效率 

Preboot eXecution Environment 预 启动 执行 环境 


Quick EMUlator 一 款 仿 真 处 理 器 的 自由 软件 
Quality of Experience 用 户 体 验 质量 

Quality of Service 服务 质量 

Redundant Array of Independent 
Disks 

Reliability, Availability and Serviceability | 可 靠 性 、 可 用 性 、 可 维护 性 
Role Based Access Control 角色 的 访问 控制 


独立 硬盘 元 余 阵 列 





( 续 表 ) 


缩 了 略语 


SDN 
SDS 
SGC 
SGSN 
SLA 
SMB 
SMLS 
SMP 
SNAT 
SNMP 
SOA 
SOAP 
SPB 
SQL 
SR-IOV 
SSD 
SSH 


证 


Relational Database 关系 型 数据 库 


Remote Direct Memory Access 远程 直接 数据 存 取 
Remote Desktop Protocol 远程 桌面 协议 






服务 


RDMA over Converged Ethemet 和 
RDMA Over Converged ETH 二 二 


Recovery Point Objective 恢复 点 目标 
Real-time Transport Protocol 实时 传输 协议 
Software as a Service 软件 即 服务 
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ET 
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安全 网 关 控 制 器 


Serving GPRS Support Node GRPS 服 务 节 点 


Security Gateway Controller 


Service-level Agreement 服务 等 级 协议 

Small and Medium-sized Business “| 中 小 企业 

Storage Management Initiative Specification | 存储 管理 初始 化 配置 
Symmetric Multiprocessing 对 称 多 处 理 

Source Network Address Translation ”| 源 地 址 转换 

Simple Network Management Protocol ”| 简单 网 络 管理 协议 
Service-oriented Architecture 面向 服务 的 架构 
Simple Object Access Protocol 简单 对 象 访问 协议 
Shortest Path Bridging 最 短路 径 桥接 


结构 化 查询 语言 
一 种 基于 硬件 的 虚拟 化 解决 方案 


Solid State Disk、Solid State Drive | 固态 硬 税 


ET 


含 状态 传输 的 Web 服务 (也 称 为 RESTful Web 
REST，Representational State Transfer | API) 是 一 个 使 用 HTTP 并 遵循 REST 原 则 的 Web 
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Stateless Transport Tunnelling Protocol | 无 状态 传输 协议 


Thin Client 瘦 客 户 端 
Thin Client Management 着 客户 端 管理 
有 
Transmission Control Protocol 传输 控制 协议 


Type-Lensgth-Value 类 型 - 长 度 - 值 
Trusted Platform Module 可 信 平 台 模 块 


stg 
TR 

Unified Communications 统一 通信 

User Datagram Protocol 用 户 数 据 报 协议 
Unified Extensible Fimware Interface | 统一 的 可 扩展 固件 接口 
Universal Virtualization Platform 华为 公司 的 虚拟 化 平台 


Virtual CPU 虚拟 CPU 
虚拟 桌面 基础 设施 (桌面 云 ) 
Virtual Funciton 虚拟 功能 
Video Graphics Array 视 蜂 图 形 阵列 
EE 
Virtual IP 虚拟 下 
Virtual Machine 虚拟 机 
Virtual Machine Control Structure 虚拟 机 控制 架构 
Virtual Machine Device Queue 虚拟 设备 队列 
Virtual Machine Manager 虚拟 机 管理 器 
Virtual Network Computing 虚拟 网 络 计 算 


VxLAN Network Identifier VxLAN 网 络 ID 
Voice over Intemet Protocol IP 电 话 


Virtual Port-Channel 虚拟 端口 通道 

Virtual Private Cloud 虚拟 私有 云 
mn 
有 

Virtual Reality 虚拟 现实 


Virutal Routing Forwading 虚拟 路 由 转发 
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浓度 (Chrominance、Chroma) 


本 书 在 撰写 过 程 中 参考 和 引用 了 来 自 互联 网 和 第 三 方 公司 或 机 构 的 内 
容 ， 其 中 包括 但 不 限于 : 美国 国家 标准 与 技术 协会 (NIST) 关于 云 计 
算 相关 文件 、Gartner 相 关 报 告 、IDC 相 关 报 告 、Nick McKeown 等 人 于 
2008 年 在 ACM SIGCOMM 发 表 的 题 为 OpenFlow: Enabling Innovation in 
Campus Networks 的 论文 、Google 公 司 发 表 的 Data Center as a Computer - 
文 、 微 软 公 司 的 WINDDK 文 档 、 中 国 移动 云 计 算 相 关 资 料 、 欣 和 森 哲 的 

《 埃 森 哲 2012 年 技术 展望 》 晶 上书 、 将 清 野 对 开源 社区 的 跟 中 研究 
(http:/www.qyjohn.net/?p=3399) 、Apache 社 区 网 站 发 布 的 文献 资料 
(特别 是 关于 CloudStack、OpenStack、Hadoop 以 及 流 处 理 相 关 的 文 

档 ) 、VMware 公 司 网 站 公开 文档 、Cisco 公 司 网 站 公开 文档 、H3C 公 司 
网 站 公开 文档 、Xen 开 源 社 区 网 站 公开 文档 、Linux KVM 社 区 网 站 公开 
文档 、Intel 公 司 网 站 公开 文档 、 微 软 公 司 网 站 公开 文档 、OpenFlow 网 站 
文档 、Oracle 公 司 网 站 公开 文档 、VCE 公 司 网 站 公开 文档 、Nutanix 公 司 
网 站 公开 文档 、HP 公 司 网 站 公开 文档 、 华 为 公司 网 站 公开 文档 、 
Resource Allocation Algorithms for Virtualized Service Hosting 
Platforms (Mark Stillwell，2010) 、OpenDaylight 网 站 公开 文档 、 
Wikipedia 网 站 公开 文档 〈 特 别 是 http:/zh.wikipedia.org/ 

wiki/MapReduce) 、 清 华 大 学 出 版 社 的 《分 布 式 云 数 据 中 心 的 建设 与 管 
理 》 每 。 同 时 ， 我 们 在 撰写 过 程 中 采用 了 互联 网 搜索 工具 (如 Baidu 和 
Coa 搜索 查阅 了 一 些 文章 并 引用 了 部 分 文字 ， 己 难以 确定 具体 出 
处 ， 无 法 一 一 列举 。 如 读者 发 现 未 列 明 出 处 的 引用 ， 可 通过 出 版 社 告知 
作者 ， 在 本 书 下 一 版 中 会 补充 到 引用 说 明 中 或 做 其 他 修订 处 理 。 


在 书 中 以 及 本 书 岳 述 的 产品 中 ， 出 现 的 商标 、 产 品名 称 、 服 务 名 称 以 及 
公司 名 称 ， 由 其 各 自 的 所 有 人 拥有 。 本 书 内 容 不 构成 任何 形式 的 承诺 。 
除非 生 法 委 求 作者 及 出 版 社 对 本 书 所 有 内 容 不 提供 任何 明示 或 暗示 的 
采 证 。 


在 法 律 允许 的 范围 内 ， 本 书 作者 及 出 版 社 在 任何 情况 下 都 不 对 因 使 用 本 
书 相关 内 容 而 产生 的 任何 特殊 的 、 附 带 的 、 间 接 的 、 继 发 性 的 损害 进行 
赔偿 ， 也 不 对 任何 利润 、 数 据 、 商 誉 或 预期 的 损失 进行 赔偿 。 

















附录 


CDLink: http:/pan.baidu.comy/s/1eQlIjEa 


密码 : bm3d 


Table of Contents 








2 各 总体 架 校 


2.1.1 云 计算 核心 架构 上 







































































